apache-spark - 使用 org.apache.hadoop:hadoop-aws 从 pyspark 中的 s3 读取文件
问题描述
尝试使用 hadoop-aws 从 s3 读取文件,下面提到了用于运行代码的命令。请帮我解决这个问题并理解我做错了什么。
# run using command
# time spark-submit --packages org.apache.hadoop:hadoop-aws:3.2.1 connect_s3_using_keys.py
from pyspark import SparkContext, SparkConf
import ConfigParser
import pyspark
# create Spark context with Spark configuration
conf = SparkConf().setAppName("Deepak_1ST_job")
sc = SparkContext(conf=conf)
sc.setLogLevel("ERROR")
hadoop_conf = sc._jsc.hadoopConfiguration()
config = ConfigParser.ConfigParser()
config.read("/home/deepak/Desktop/secure/awsCred.cnf")
accessKeyId = config.get("aws_keys", "access_key")
secretAccessKey = config.get("aws_keys", "secret_key")
hadoop_conf.set(
"fs.s3n.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("fs3a.access.key", accessKeyId)
hadoop_conf.set("s3a.secret.key", secretAccessKey)
sqlContext = pyspark.SQLContext(sc)
df = sqlContext.read.json("s3a://bucket_name/logs/20191117log.json")
df.show()
编辑1:
由于我是 pyspark 的新手,我不知道这些依赖项,因此该错误也不容易理解。
得到错误为
File "/home/deepak/spark/spark-3.0.0-preview-bin-hadoop3.2/python/lib/pyspark.zip/pyspark/sql/utils.py", line 98, in deco
File "/home/deepak/spark/spark-3.0.0-preview-bin-hadoop3.2/python/lib/py4j-0.10.8.1-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o28.json.
: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;Ljava/lang/Object;)V
at org.apache.hadoop.fs.s3a.S3AUtils.lookupPassword(S3AUtils.java:816)
at org.apache.hadoop.fs.s3a.S3AUtils.lookupPassword(S3AUtils.java:792)
at org.apache.hadoop.fs.s3a.S3AUtils.getAWSAccessKeys(S3AUtils.java:747)
at org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider.
解决方案
我对 spark 3.0.0 / hadoop 3.2 有同样的问题。
对我有用的是用这里找到的替换hadoop-aws-3.2.1.jar
in :https ://mvnrepository.com/artifact/org.apache.hadoop/hadoop-aws/3.2.0spark-3.0.0-bin-hadoop3.2/jars
hadoop-aws-3.2.0.jar
推荐阅读
- html - 自动播放无法在移动设备上运行 YouTube 视频
- artifactory - 在 deque Agora(Jfrog Artifactory)中。默认只有 docker 和 NPm 可用。其余打包程序已禁用,请建议流程
- snakemake - 在 Snakemake 中拆分文件
- python - CS50 2021:Python 错误计算中的可读性
- java - 如何通过 GRADLE 强制库使用内部依赖项而不是外部依赖项?
- reactjs - MS Teams 连接器保存按钮给出错误:从连接器收到错误
- python - 使用 matplotlib 在最终图中裁剪出绘图区域
- python - 印刷 。在字符串中的每个字符之前
- python - Python-Django 导入 csv 到 Jupiter 注意本地
- android - 文字转语音正在活动中工作,但不在后台工作