时间戳

首页 > 解决方案 > 带有pycharm的Linux上的PySpark-第一个异常错误

pyspark - 带有pycharm的Linux上的PySpark-第一个异常错误

问题描述

我正在尝试在我配置的 Linux VM 上运行我的第一个 PySpark 脚本。KeyError: SPARK_HOME当我运行以下命令时，我收到的错误消息是：

from os import environ
from pyspark import SparkContext

我暂时通过运行使这个错误消失了export SPARK_HOME=~/spark-2.4.3-bin-hadoop2.7。然后我遇到了一个新错误error=2, No such file or directory。搜索将我带到此页面：https ://community.cloudera.com/t5/Community-Articles/Tutorial-Install-Configure-iPython-and-create-run-PySpark/ta-p/246400 。然后我跑了export PYSPARK_PYTHON=~/python3*。这让我回到了体验KeyError: SPARK_HOME错误。

老实说，我遇到了这个问题，因为这是我第一次配置 Spark 并使用 PySpark。我仍然不太了解 pycharm 的来龙去脉。

我希望能够在此页面上运行以下基本示例脚本：https ://medium.com/parrot-prediction/integrating-apache-spark-2-0-with-pycharm-ce-522a6784886f没有问题。

标签： pysparkpycharm

解决方案

这里有一个名为 findspark 的包

或者如果在环境中找不到，您可以使用以下代码设置路径

import os
if 'SPARK_HOME' not in os.environ:
    os.environ['SPARK_HOME'] = 'full_path_to_spark_root'

[代码继续]

推荐阅读