apache-spark - Apache spark从节点不连接到主节点，但工作人员启动

Question

我有 5 个节点（1 个主节点和 4 个从节点）。我在指示主从主机的所有机器上都有相同的配置文件（slaves和）。spark-defaults.conf

当我使用命令启动 Apache spark 时start-all.sh，工作人员在所有机器上启动，但在 webUI 面板中只有一个工作人员（在主节点上）。

这里有什么问题？

标签： apache-sparkspark-streaming

Answer 1

我的问题解决了。我不得不手动设置SPARK_MASTER_HOST和环境变量。SPARK_MASTER_PORT将这两个添加到.bashrc文件后，问题解决了，从节点现在连接到主节点。