apache-spark - Aws 胶水火花“没有这样的文件或目录”但文件存在

Question

我想在 Aws Glue 上执行一个非常简单的 spark 脚本作为 spark 作业。但是我遇到以下错误。

调用 o76.sql 时出错。没有这样的文件或目录 's3://bucketname/pathToFile/file.parquet

我确定该文件存在于指定路径中，但我不明白为什么它找不到该文件。

这里的代码：

spark_context = SparkSession.builder.getOrCreate().sparkContext
glue_context = GlueContext(spark_context)
spark = glue_context.spark_session


simple_query = f"""SELECT * FROM orion_staging.conforama_purchase LIMIT 10"""

email_purchase = spark.sql(simple_query)
url = 'my valid url'
result_df.write.format("parquet").option("header","true").mode("Overwrite").save(url)

print("DONE")

和错误：

调用 o76.sql 时出错。没有这样的文件或目录 's3://bucketname/pathToFile/file.parquet'

阅读时会发生这种情况，而我要阅读的表格是 Athena 表格。我确信glue 知道这个表，因为它在我浏览glue 界面时会显示它。

我已经尝试过： - 启用 Hive 支持。

我也想尝试如何： - --enable-glue-datacatalog 但我不知道该怎么做。

标签： apache-sparkamazon-s3aws-glue