amazon-s3 - Apache Airflow：操作员将 s3 复制到 s3

Question

在气流中将文件从一个 s3 复制到另一个 s3 的最佳操作员是什么？我已经尝试过 S3FileTransformOperator，但它需要 transform_script 或 select_expression。我的要求是将确切的文件从源复制到目标。

标签： amazon-s3airflow

Answer 1

利用S3CopyObjectOperator

copy_step = S3CopyObjectOperator(
   source_bucket_key='source_file',
   dest_bucket_key='dest_file',
   aws_conn_id='aws_connection_id',
   source_bucket_name='source-bucket',
   dest_bucket_name='dest-bucket'
)