python-3.x - Spark worker 和 Spark 驱动程序中的 python 版本不匹配

Question

例外：worker 中的 Python 2.7 版本与驱动程序 3.5 中的版本不同，PySpark 无法使用不同的次要版本运行。请检查环境变量 PYSPARK_PYTHON 和 PYSPARK_DRIVER_PYTHON 是否设置正确。

如何更改工作人员中的 python 版本？（我在独立模式下使用 Spark）

标签： python-3.xapache-sparkpysparkjupyter-notebook

Answer 1

一定是因为你的系统python指向3.5。理想情况下，您应该在运行脚本之前将 PATH 变量设置为指向 PySpark Python，例如 PATH=your anaconda 或 cloudera bin path:$PATH，并且所有内容都将自动同步。不要使用系统 python 来执行 pyspark 作业，因为驱动程序和执行程序可能会出现不一致。