java - 集群上的 Spark 进程是一个 java 进程

Question

我对java了解不多。任何人都可以为我解释这条线。

“任何，任何可以在你的集群或本地机器上工作的 apache Spark 进程都是 JVM 进程。”

标签： javaapache-sparkbigdata

Answer 1

Spark 基于驱动程序和执行程序的概念，其中驱动程序是主服务器，执行程序是从服务器。spark 有两种操作：Transformation 和 action。虽然只有 Driver 可以发起一项操作，但 Executor 是实际执行操作的人。所以你可以说无论在 spark 执行中发生什么，driver 和 executor 都只有一个责任。驱动程序和执行程序只不过是 JVM 进程或 JVM 容器（纱线）。因此，每个操作仅由 JVM 进程执行（驱动程序和执行程序）。希望这能解释您的查询。