macos - 无法在 macOS Mojave 上运行 spark/pyspark

Question

有一台带有 macOS Mojave 的新 MacBook，但无法让 spark/pyspark 工作。我做了以下事情：

• 从https://spark.apache.org/downloads.html下载了最新的 Apache Spark
• 将其解压缩到我的主目录 ( /Users/myname/)
• 重命名文件夹spark
• 在 Finder 窗口中检查了 spark 存在，并且该文件夹包含 python、bin 和 bin/spark-shell 子文件夹
• 能够通过以下方式安装包：curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py>>python get-pip.py在终端中>>检查它是否通过import pip在python shell中安装>>sudo easy_install pip在常规终端中
• pip install pyspark，这有效
• Users/myname/在路径中创建了 .bashrc 和 .bash_profile 文件
• 我在这些 bash 文件中尝试了以下版本的命令：

export SPARK_HOME="/Users/myname/spark/python"
export PATH="$SPARK_HOME/bin:$PATH"

export SPARK_HOME=/Users/myname/spark/python
export PATH=$SPARK_HOME/bin:$PATH

export SPARK_HOME=/Users/myname/spark
export PATH=$SPARK_HOME/bin:$PATH

export SPARK_HOME=~/spark
export PATH=$SPARK_HOME/bin:$PATH

不同的安装文章说我应该只能pyspark在终端中做，spark/bin/spark-shell或者只是'bin/spark-shell`，我只是不断收到消息的版本

-bash: pyspark: command not found

有什么建议吗？

标签： macosapache-sparkpysparkinstallation

Answer 1

如果您从 pip 安装了 pyspark，则不需要独立安装。你只需要修复你的环境变量。首先，找到您的站点包的位置：

python -c "import site; print(site.getsitepackages())"

这可能是这样的/usr/lib/pythonX.Y/site-packages

然后，将导出添加到您的 bash 配置文件并获取它。

echo "export SPARK_HOME=/usr/lib/pythonX.Y/site-packages/pyspark" >> ~/.bash_profile
echo "export PATH=$SPARK_HOME/bin:$PATH" >> ~/.bash_profile
source ~/.bash_profile