python - Pyspark - 与 SparkContext 相关的错误 - 没有属性 _jsc
问题描述
不确定这是什么问题。我已经看到有关此问题的类似问题,但没有解决我的问题。完全错误,
Traceback (most recent call last):
File "C:/Users/computer/PycharmProjects/spark_test/spark_test/test.py", line 4, in <module>
sqlcontext = SQLContext(sc)
File "C:\Users\computer\AppData\Local\Programs\Python\Python36\lib\site-packages\pyspark\sql\context.py", line 74, in __init__
self._jsc = self._sc._jsc
AttributeError: type object 'SparkContext' has no attribute '_jsc'
这是我试图运行的简单代码:
from pyspark import SQLContext
from pyspark.context import SparkContext as sc
sqlcontext = SQLContext(sc)
df = sqlcontext.read.json('random.json')
解决方案
如果您使用的是 Spark Shell,您会注意到它SparkContext
已经创建。
否则,您可以通过导入、初始化和提供配置设置来创建 SparkContext 。在你的情况下,你只通过SparkContext
了SQLContext
import pyspark
conf = pyspark.SparkConf()
# conf.set('spark.app.name', app_name) # Optional configurations
# init & return
sc = pyspark.SparkContext.getOrCreate(conf=conf)
sqlcontext = SQLContext(sc)
df = sqlcontext.read.json('random.json')
推荐阅读
- c - 通过共享内存和管道的 IPC 给出分段错误:C 中的 11
- javascript - 如果条件使用 javascript
- javascript - 如何将 NodeJS 中的“Buffer.from”转换为浏览器版本
- python - Jupyter 中的 ModuleNotFoundError 而 pip freeze 显示其已安装
- python - 在python,jupyter notebook中查找序列的极限
- python-3.x - Heroku 网页抓取应用程序(通常但不总是)在大多数网站上出现 403 错误
- google-apps-script - Google Apps 脚本日历服务:获取重复(全天)事件的开始日期
- powershell - Powershell:如何拆分、做数学和格式化
- google-cloud-build - 为什么建议使用云构建器来构建纱线?
- llvm - LLVM C++ API 创建 struct seg 错误