apache-spark - 为什么切换 conda 环境会消除 HADOOP_CONF_DIR？

Question

我有一个奇怪的环境问题。我有两个 conda 环境base和rnn. 当我在环境中输入pyspark --master yarn时base，交互式 shell 成功启动，我可以使用 YARN Web UI 查看 PySpark shell 已提交给 YARN。

但是，当我输入source activate rnn并后跟 时pyspark --master yarn，我看到抛出了以下异常。

线程“main”java.lang.Exception 中的异常：使用 master 'yarn' 运行时，必须在环境中设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。在 org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:286) 在 org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:246) 在 org.apache.spark.deploy.SparkSubmitArguments.( SparkSubmitArguments.scala:119) 在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:129) 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

如果切换回baseconda 环境并输入printenv，我也看不到 HADOOP_CONF_DIR 或 YARN_CONF_DIR 。我对设置这些环境变量的位置或方式以及为什么从一个 conda 环境切换到另一个环境会导致上述异常感到困惑。有关如何解决此问题的任何想法？

标签： apache-sparkhadooppysparkanacondahadoop-yarn