python - Pyspark Py4JJava错误：

Question

我尝试使用 pyspark 在 Jupyter notebook 中运行以下简单代码。

from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("Collinear Points")
sc = SparkContext('local',conf=conf) 
   
from pyspark.rdd import RDD 
numbRDD=sc.parallelize([1,2,3,4,5,-1,-4,-6])
# Create map() transformation to cube numbers
cubedRDD = numbRDD.map(lambda x: x**3)

# Collect the results
numbers_all = cubedRDD.collect()

我收到以下错误。你能给出任何可以解决它的提示吗？

TIA。雪莉

Py4JJavaError：调用 z:org.apache.spark.api.python.PythonRDD.collectAndServe 时出错。：org.apache.spark.SparkException：作业因阶段失败而中止：阶段 1.0 中的任务 0 失败 1 次，最近一次失败：阶段 1.0 中丢失任务 0.0（TID 1）（W504456FT.anybank.de 执行器驱动程序）：java .io.IOException：无法运行程序“python3”：CreateProcess error=2，Das System kann die angegebene Datei nicht finden at java.lang.ProcessBuilder.start（Unknown Source） at org.apache.spark.api.python.PythonWorkerFactory。 createSimpleWorker(PythonWorkerFactory.scala:165) at org.apache.spark.api.python.PythonWorkerFactory.create(PythonWorkerFactory.scala:107) at org.apache.spark.SparkEnv.createPythonWorker(SparkEnv.scala:119) at org.apache .spark.api.python.BasePythonRunner.compute(PythonRunner.scala:145) 在 org.apache.spark.api。

标签： pythonpysparkjupyter