python-3.x - ModuleNotFoundError:没有名为“py4j”的模块
问题描述
我安装了 Spark,但在将 pyspark 模块加载到 ipython 时遇到问题。我收到以下错误:
ModuleNotFoundError Traceback (most recent call last)
<ipython-input-2-49d7c4e178f8> in <module>
----> 1 import pyspark
/opt/spark/python/pyspark/__init__.py in <module>
44
45 from pyspark.conf import SparkConf
---> 46 from pyspark.context import SparkContext
47 from pyspark.rdd import RDD
48 from pyspark.files import SparkFiles
/opt/spark/python/pyspark/context.py in <module>
27 from tempfile import NamedTemporaryFile
28
---> 29 from py4j.protocol import Py4JError
30
31 from pyspark import accumulators
ModuleNotFoundError: No module named 'py4j'
解决方案
如果可以直接运行spark,可能需要修复环境变量PYTHONPATH
。检查目录中的文件名$SPARK_HOME/python/lib/
。如果 Spark 版本为 2.4.3,则文件为py4j-0.10.7-src.zip
:
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH
推荐阅读
- web-crawler - wget不下载HTML
- python - Python烧瓶saml抛出saml2.sigver.SigverError错误消息
- javascript - 从 blob-url 保存图像(javascript / php)
- excel - 在读写模式下使用 VBScript 打开多个 Excel 文件
- android - setMarginEnd 不适用于 RTL 语言
- angularjs - spring security 和 spring boot 2 with cors Access-Control-Allow-Origin 问题
- java - 无论如何,我可以将我的数据集保存到扩展名为 .data 的文件中吗?
- angular - 在 Angular Material Md-tabs 中添加新选项卡后滚动到最后一个选项卡
- javascript - jQuery动画后的图像显示问题
- python - 一种比嵌套循环更快地计算球体表面点的方法?