首页 > 解决方案 > 什么会更快 - 将文件单独复制到 s3 或将它们移动到存储桶中

问题描述

我有几个目录,每个目录大约有 1000 个文件。一个目录的大小约为30G。我需要将这些目录上传到 s3 存储桶,但每个文件都需要位于单独的目录中。我正在使用 AWS SDK 进行上传。最有效的方法是什么?

  1. 按原样复制目录并将 s3 存储桶中的文件移动到最终目的地?
  2. 为每个文件运行单独的命令?

首先,我希望 aws 库在更新时能够比使用第二种解决方案更好地处理并行性。但是第二种方法节省了我在 s3 中移动(实际上是复制和删除)对象的时间。

问候

帕维尔

标签: amazon-web-servicesamazon-s3

解决方案


推荐阅读