时间戳

首页 > 解决方案 > 使用 pycharm 在本地运行 pyspark

pyspark - 使用 pycharm 在本地运行 pyspark

问题描述

我用我的 Pycharm IDE 编写了以下非常简单的 python 脚本

from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql import SQLContext
from pyspark.sql.types import LongType, FloatType,IntegerType,StringType,DoubleType
from pyspark.sql.functions import udf
from pyspark.sql import functions as F
from pyspark.sql.window import Window
from  pyspark.sql.functions import abs
from pyspark.sql import HiveContext

spark = SparkSession.builder.config("requiredconfig").appName("SparkSran").enableHiveSupport().getOrCreate()
sc = spark.sparkContext

当我在我的 IDE 上单击运行或运行以下命令时

spark-submit --py-files   /home/user/PycharmProjects/helloSparkWorld/test.py
I get

/usr/lib/spark/bin/spark-class: line 71: /usr/local/java/jdk10.0.1/bin/java: No such file or directory

我的 JAVA_HOME 和 SPARK_HOME 设置如下回显$SPARK_HOME给出/usr/lib/spark 和回显$JAVA_HOME给出

/usr/local/java/jdk10.0.1

标签： pyspark

解决方案

你可以pip install pyspark在你的环境中使用你的 pycharm 安装来运行 python 程序。如果您在本地运行，您可以自行运行 pyspark.py文件。python filename.py

基本上只需为您的pip或 python 解释器提供 pyspark pip 包，您就可以使用相同的解释器通过 pycharm 运行它。

推荐阅读