python - `import pyspark` 适用于 Jupyter，但不适用于 python shell/脚本

Question

我正在尝试将pyspark代码从jupyter笔记本迁移到 python 脚本。但是，当我尝试使用

from pyspark.sql import SparkSession

我有一个错误No module named 'pyspark'

• 我试图找到所有python3并python2在系统中，将它们作为 shell 运行并尝试pyspark在每个 shell 中导入。但是，我No module named 'pyspark'在每个外壳中都有相同的

• 当我试图import findspark与python3/python2我得到No module named 'findspark'

• echo $PYTHONPATH并echo $SPARK_HOME返回空字符串

• 我试图找到所有spark-submit并用它们而不是运行我的脚本python3。但是，我有一个argparse使用错误

  File "/export/home/osvechkarenko/brdmp_10947/automation_001/py_dynamic_report.py", line 206
  if args.print:
              ^
  SyntaxError: invalid syntax
  

  当我将我的脚本与 python3 （没有pyspark）一起使用时，它运行良好。

标签： pythonpysparkjupyter-notebook

Answer 1

首先，通过以下方式确保您的 python 解释器对于 jupyter 和 shell 是相同的：

import sys
print(sys.executable)

如果是这种情况，您的 jupyter 内核还会在启动时将 pyspark 添加到 python 路径。正如@Sraw 指出的那样，您可以通过pyspark.__file__在您的工作环境中找到 pyspark。

这是一个简短的 bash 脚本，介绍如何在 Ubuntu 16.10 下将 pyspark 手动添加到现有的 jupyter 内核：链接