apache-spark - pyspark - spark 如何为 Python 解释器设置 *NIX 进程

Question

问题

PySpark 如何为 Python 解释器调用 UNIX 进程并设置 Python 环境（例如环境变量）？

Python 包管理具有以下代码，指定环境变量 PYSPARK_PYTHON。它是否会被传递到工作节点，并且 Python 解释器的 *NIX 进程也将具有 PYSPARK_PYTHON 环境变量？

export PYSPARK_DRIVER_PYTHON=python # Do not set in cluster modes.
export PYSPARK_PYTHON=./environment/bin/python
spark-submit --archives pyspark_conda_env.tar.gz#environment app.py

有没有办法为 Python 解释器进程指定 PYTHONPATH 环境变量，以便我们可以控制在哪里查找 Python 模块？

工作节点上的 Spark 执行器如何与 Python 解释器进程通信？有具体的协议吗？

有关的

• PySpark 内部结构

标签： apache-sparkpyspark