时间戳

首页 > 解决方案 > 如何使用 pyspark 写入 S3 接入点

amazon-web-services - 如何使用 pyspark 写入 S3 接入点

问题描述

我有写入 s3 存储桶的 pyspark 代码，如下所示：

df.write.mode('overwrite').parquet([S3_BUCKET_PATH])

我正在测试通过存储桶的访问点写入存储桶。AWS 文档有一个使用 CLI 写入访问点的示例，如下所示：

aws s3api put-object --bucket arn:aws:s3:us-west-2:123456789012:accesspoint/prod --key my-image.jpg --body my-image.jpg

我试过这样做：

df.write.mode('overwrite').parquet("arn:aws:s3:us-west-2:123456789012:accesspoint/prod")

但是，我收到此错误：

绝对 URI 中的相对路径

是否可以使用 pyspark 写入 S3 接入点？

标签： amazon-web-servicesamazon-s3pysparkamazon-s3-access-points

解决方案

推荐阅读