时间戳

首页 > 解决方案 > Spark-submit 在错误的目录中查找

linux - Spark-submit 在错误的目录中查找

问题描述

我刚刚在全新的 Linux Mint 安装（所有最新版本）上安装了 Anaconda、Apache spark、Pyspark、Scala。

为了测试安装，我尝试spark-submit在终端中运行，但出现以下错误：

File "/home/jessica/anaconda/bin/find_spark_home.py", line 74, in <module>
    print(_find_spark_home())
  File "/home/jessica/anaconda/bin/find_spark_home.py", line 56, in _find_spark_home
    module_home = os.path.dirname(find_spec("pyspark").origin)
AttributeError: 'NoneType' object has no attribute 'origin'
/home/jessica/anaconda/bin/spark-submit: line 27: /bin/spark-class: No such file or directory

我看到该命令正在查找/bin/而不是 (正确) /usr/local/spark/bin。

我的$PATH变量包含以下内容： /usr/local/spark/bin:/home/jessica/anaconda/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin::/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games

我还有一个名为$SPARK_HOMEcontains的 env 变量/usr/local/spark/。

我怎样才能告诉我的系统去寻找正确的目录呢？

标签： linuxbashapache-sparkpysparkanaconda

解决方案

要修复此错误，我必须手动设置JAVA_HOME变量/etc/environment

推荐阅读