时间戳

首页 > 解决方案 > 将 json 文件从 S3 存储桶读取到 spark 数据帧，给出“路径不存在错误”

python - 将 json 文件从 S3 存储桶读取到 spark 数据帧，给出“路径不存在错误”

问题描述

spark = SparkSession.builder \
    .master("local") \
    .appName("Example") \
    .getOrCreate()
  
df = spark.read.json("s3://bucket_name/db_name/tbl_name=first/key=none/file.json")
df.show()

这是我如何编写代码的示例代码，并且路径确实存在。但是，代码会抛出它没有的错误。

标签： pythonapache-sparkamazon-s3pysparkapache-spark-sql

解决方案

推荐阅读