amazon-web-services - 什么会更快 - 将文件单独复制到 s3 或将它们移动到存储桶中
问题描述
我有几个目录,每个目录大约有 1000 个文件。一个目录的大小约为30G。我需要将这些目录上传到 s3 存储桶,但每个文件都需要位于单独的目录中。我正在使用 AWS SDK 进行上传。最有效的方法是什么?
- 按原样复制目录并将 s3 存储桶中的文件移动到最终目的地?
- 为每个文件运行单独的命令?
首先,我希望 aws 库在更新时能够比使用第二种解决方案更好地处理并行性。但是第二种方法节省了我在 s3 中移动(实际上是复制和删除)对象的时间。
问候
帕维尔
解决方案
推荐阅读
- r - 使用 row_number() - R 时跳过特定观察
- flutter - ListView 和 Card Flutter 中的额外“空间”
- installation - Wikibase 安装问题
- azure - 从 Azure Blob 下载特定文件的列表
- python - “ValueError:找不到 PeerChannel 的输入实体”与 Bot
- java - Gradle:找不到或加载主类
- android - 配置更改时如何维护片段?
- batch-file - 通过 Jenkins Windows 批处理命令删除文件(如果存在)
- jquery - 为什么 .ajax() 能够调用 WebMethod 而不能调用 .get()?
- ios - 尽管 URL 被命中,通用链接仍不执行操作