python - Pyspark 无法初始化火花上下文
问题描述
我正在尝试使用此运行 spark 程序spark-submit server2.py --master local[2]
。然后我得到了这个错误:
ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Could not parse Master URL: '<pyspark.conf.SparkConf object at 0x7f69bb067710>'
at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2924)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:548)
at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:238)
at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:745)
这是我正在运行的代码:
import networkx as nx
TCP_IP = "192.168.1.136"
TCP_PORT = 5000
from pyspark import SparkConf,SparkContext
from pyspark.streaming import StreamingContext
# Create a Grid graph using networkx library
G = nx.grid_2d_graph(5, 5) # 5x5 grid
# Creating a Spark Configuration
conf=SparkConf()
conf.setAppName('ShortestPathApp')
sc= SparkContext(conf)
ssc= StreamingContext(sc,1)
def shortestPath(line):
# get the values from rdd
vehicleId = line[0]
source = line[1]
destination = line[2]
deadline = line[3]
# find shortest path
shortest = nx.dijkstra_path(G, source, destination)
print(shortest)
# receive from Socket
dataStream =ssc.socketTextStream(TCP_IP,TCP_PORT)
vehicle_data = dataStream.map(lambda line: line.split(" "))
vehicle_data.foreachRDD(lambda rdd: rdd.foreach(shortestPath))
ssc.start()
ssc.awaitTermination()
谁能帮助我做错了什么。我尝试了这篇文章的解决方案,无法初始化火花上下文,但它不起作用。
解决方案
重新排序
spark-submit server2.py --master local[2]
至
spark-submit --master local[2] server2.py
推荐阅读
- javascript - 如何使用 JEST 在方法中模拟方法?
- python - SLQAlchemy 无法创建关系列
- c# - 如何正确获取 MainPage?
- c++ - 为什么以下不等式在 C++ 中计算为真?
- python - 从重复轴重新索引
- java - 我正在尝试将此 Firebase 数据转换为 android 中的回收卡视图
- javascript - 在事件而不是页面加载之后启动 jQuery 计时器
- bash - 如何在bash中提取文本文件中的列
- javascript - 如何完成获取 LAST_INSERT_ID 并使用最后插入的 ID 运行第二个 app.post 的 app.post?
- android - 如何设置 3:4 纵横比 Flutter 相机预览