Spark核心概念

Spark核心概念　

　　每个Spark应用都由一个驱动器程序(driver program)来发起集群上的各种 并行操作。

驱动器程序包含应用的 main 函数，并且定义了集群上的分布式数据集，还对这 些分布式数据集应用了相关操作。 


　　驱动器程序通过一个 SparkContext 对象来访问 Spark。这个对象代表对计算集群的一个连 接。

shell 启动时已经自动创建了一个 SparkContext 对象，是一个叫作 sc 的变量。

　　驱动器程序一般要管理多个执行器(executor)节点。