时间戳

首页 > 解决方案 > 无法启动 Spark

apache-spark - 无法启动 Spark

问题描述

我在 Mac 上安装了 Spark 2.4。

当我尝试使用spark从命令行启动时，出现此错误：

Traceback (most recent call last):
File "/Applications/anaconda3/bin/spark", line 2, in <module>
 from spark import spark_admin
File "/Applications/anaconda3/lib/python3.6/site-packages/spark/spark_admin.py", line 49
 os.chmod(join(proj_dir,'etc','cgiserver.py'),0755)
                                                ^
SyntaxError: invalid token

使用pyspark启动时，我打开了一个 Jupyter 窗口。

我的 .bash_profile 是：

export SPARK_HOME=/usr/local/spark-2.4.0-bin-hadoop2.7/
export PATH="$SPARK_HOME/bin:$PATH"
export PYTHONPATH="$SPARK_HOME/python:$PYTHONPATH"
...
HADOOP_HOME=/usr/local/hadoop-2.9.2/

这是什么错误，如何解决？

标签： apache-sparkpyspark

解决方案

您没有~/.bashrc正确设置文件中的配置，您错过了用单引号括起来的路径。此外，如果您想要独立设置Spark，则无需设置HADOOP_HOME。

从我的设置中参考以下这些行：

export SPARK_HOME='/home/kr_user/tools/spark/'
export PATH=${SPARK_HOME}/bin:$PATH

在文件中添加这些行~/.bashrc并使用命令刷新环境：

source ~/.bashrc

这对你有用。

推荐阅读