apache-spark - 了解 Spark 版本

Question

当我在 shell 中给出时，它会在控制台中pyspark显示 spark 版本。version 1.6.0

但是当我给spark2-submit --version它说version 2.2.0.cloudera2。

我想了解它们之间的区别以及运行 pyspark 的实际版本是什么？每当运行py脚本时，我都会使用spark2-submit script.py.

标签： apache-sparkpysparkcloudera-cdh

Answer 1

在执行 Pyspark 之前，请尝试设置您的 spark 版本环境变量。尝试在您的终端上运行以下命令：

SPARK_MAJOR_VERSION=2 pyspark