java - 如何远程提交火花作业

Question

我有未安装 spark 的 Nodejs 服务器，并且在不同的服务器中设置了带有 YARN 的 spark。

要求是从 Nodejs 服务器远程运行 spark 作业。有人可以帮忙吗？

感谢您的及时回复。

标签： javascalaapache-spark

Answer 1

远程生成进程是不可能的。我建议你以下方法，

1. 在运行 Node 服务器的地方安装 spark，并将其用作客户端以指向实际的 spark 集群。您的节点服务器可以使用此客户端在远程集群上以客户端模式触发作业。
2. 您可以在 spark 集群上设置一个 rest api，并让您的节点服务器访问该 api 的端点，这将触发作业。

详细说明上述答案，选项 1 涉及在两个系统上都安装 spark - 一个具有节点服务器和实际的 spark 集群。节点服务器上的 Spark 充当主 Spark 集群的客户端。选项 2 侧重于创建一个处理触发器的 rest API，这些触发器直接在主集群上启动 spark 作业，这样可以节省 2 次安装。

希望这可以帮助。