时间戳

首页 > 解决方案 > 从节点未启动或添加到我的 apache spark 集群

apache-spark - 从节点未启动或添加到我的 apache spark 集群

问题描述

“我正在建立一个新的 apache-spark 2 节点集群” 问题：从节点没有启动。

  1. 首先我没有编辑我的 /etc/hosts 文件，因为我想在我的机器上手动安装和启动。
  2. 在 conf/slaves 中，我在主节点以及从节点目录中提供了单个从属主机名
  3. 我在 .bashrc 中配置了不同的 SPARK_HOME 路径。在主节点主机中，我们给出了主节点目录路径，而在从节点主机中，我们给出了从节点目录路径。
  4. 在每个主机 .bashrc 文件中包含所有详细信息后。我试图启动集群。主节点开始但不是从节点。我收到以下错误。

主节点以正确的进程启动，但是在 ssh 进入从属主机后，它会弹出以下错误

slave-host-0001: starting org.apache.spark.deploy.worker.Worker, logging to /apps/abc5/xyz-folder/spark/master/spark-2.4.3-bin-hadoop2.7/logs/spark-xxxx-org.apache.spark.deploy.worker.Worker-1-slave-host-0001.out
slave-host-0001: failed to launch: nice -n 0 /apps/abc5/xyz-folder/spark/master/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://master-host-0001:7077
slave-host-0001:   JAVA_HOME is not set
slave-host-0001: full log in /apps/abc5/xyz-folder/spark/master/spark-2.4.3-bin-hadoop2.7/logs/spark-xxxx-org.apache.spark.deploy.worker.Worker-1-slave-host-0001.out

它说 JAVA_HOME 未设置，但其他应用程序使用相同的 JAVA_HOME 路径以正确的方式工作

.bash 配置：

JAVA_HOME=/apps/abc1/jdk1.8.0_45
export JAVA_HOME=$JAVA_HOME/bin:$JAVA_HOME

PYTHON_HOME=/apps/abc1/python/python-3.6.4
export PYTHON_HOME=/apps/abc1/python/python-3.6.4

SCALA_HOME=/apps/abc5/xyz-folder/scala-2.13.0
export PATH=$SCALA_HOME/bin:$SCALA_HOME

SPARK_HOME=/apps/abc5/xyz-folder/spark/inpera-slave-01/spark-2.4.3-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$SPARK_HOME

export PATH=$JAVA_HOME/bin:$PATH:$PYTHON_HOME/bin:$SCALA_HOME/bin:$SCALA_HOME:$SPARK_HOME/bin:$SPARK_HOME

export PATH=/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/usr/ucb:/bin:/usr/bin:/users/clip/.local/bin:/users/clip/bin:/apps/abc1/jdk1.8.0_45/bin:/apps/abc5/xyz-folder/scala-2.13.0/bin:/apps/abc5/xyz-folder/spark/inpera-slave-01/spark-2.4.3-bin-hadoop2.7/bin

问题：
1.为什么它成功登录到从主机，却指向主节点路径。正如所料，我们需要进入从节点目录，对吧？

2. 为什么我们在从节点主机中收到 JAVA_HOME 错误？

提前感谢大家的宝贵回复。

标签： apache-sparkredhat

解决方案

[问题已解决] 我一直在为所有路径（JAVA、PYTHON、SCALA、SPARK）使用 .bash_profile。

默认情况下，Spark 正在寻找 .bashrc。

在 .bashrc 中设置 JAVA_HOME 路径。

问题解决了....

推荐阅读