python - 如何设置 PySpark 驱动程序和工作程序 Python 版本

Question

我正在本地模式下从 Pycharm 项目运行 PySpark。它抱怨驱动程序和执行程序不使用相同的python版本。所以我试图通过执行以下操作来设置 Python 版本，但我收到一个错误，说java.io.IOException: Cannot run program "/Users/alex/.pyenv/versions/3.6.0/lib/python3.6": error=13, Permission denied at java.base/java.lang.ProcessBuilder.start(ProcessBuilder.java:1128)我尝试chmod 777了该文件夹但没有奏效。有人可以帮忙吗？非常感谢！

import os
os.environ["PYSPARK_PYTHON"] = "/Users/alex/.pyenv/versions/3.6.0/lib/python3.6"
os.environ["PYSPARK_DRIVER_PYTHON"] = "/Users/alex/.pyenv/versions/3.6.0/lib/python3.6"

标签： pythonapache-sparkpysparkversionenvironment