amazon-s3 - 标记用glueContext.write_dynamic_frame 编写的s3 对象

Question

我正在使用 AWS Glue ETL 作业来使用他们的 PySpark API 摄取一些数据集；即DynamicFrame从 S3 对象加载 a，进行一些转换，最后将结果写入某个 S3 位置（使用glueContext.write_dynamic_frame.from_options）或目录（使用glueContext.write_dynamic_frame.from_catalog）。

为了使事情井井有条，如果没有正确标记，我们会阻止在目标位置创建对象。

我想知道是否有办法标记作为写入过程的一部分创建的 s3 对象。

标签： amazon-s3pysparkpyspark-sqlaws-glue

Answer 1

无法使用 Glue API。您可能必须使用 S3 Boto 库来添加标签。