python-3.x - 将存储桶从 S3 传输到 GCS 并在不先下载存储桶的情况下使用 python3 进行反向传输？

Question

我知道我现在正在研究的 gsutil。但是我试图弄清楚是否有一种方法可以将存储桶从 aws s3 传输到 gcs 以及从 gcs 传输到 s3，而无需从一个本地下载所有数据然后重新启动它。

标签： python-3.xamazon-s3google-cloud-storage

Answer 1

我会推荐使用谷歌云传输服务。

您可以按照本教程进行操作：

使用 VPC Service Controls 和 Storage Transfer Service 将数据从 Amazon S3 传输到云存储

本教程介绍如何使用带有 VPC 服务控制边界的 Storage Transfer Service 来强化从 Amazon Simple Storage Service (Amazon S3) 到云存储的数据传输。本教程适用于拥有驻留在 Amazon S3 中的数据并希望将这些数据安全地处理或迁移到 GCP 的数据所有者。