amazon-web-services - S3 Batch：在同一区域的存储桶之间复制 1m 个对象的时间？

Question

我需要将 9200 万个对象从存储桶 A 复制到同一 AWS 区域中的存储桶 B。我知道 AWS 需要 48 小时才能生成 S3 库存报告，所以......我想知道读取 9200 万个对象的清单并将它们复制到另一个存储桶需要多长时间。我的目标文件的平均大小为 512KB。

标签： amazon-web-servicesamazon-s3batch-processing

Answer 1

一种选择是使用S3DistCp - Amazon EMR，它会从 Hadoop 集群中触发许多并行复制命令。

这涉及相当多的开销（使用 Amazon EMR 集群），但是一旦开始，它就可以通过生成并行 API 请求来复制对象，从而非常快速地复制文件。

如果您要自己发起复制，那么您可以尝试类似的方法来生成许多并行复制请求，而不是简单地按顺序循环遍历列表。