amazon-web-services - 使用 AWS 命令行界面 (CLI) 从 Amazon S3 批量下载文件
问题描述
我有一个用例，其中我有大约 4000 万个对象位于 Amazon S3 存储桶中。我想下载、处理它们并将它们重新上传到另一个 Amazon S3 存储桶。第一个问题，由于硬盘空间不足，我无法一次全部下载。
我想分批下载。例如，我想下载 100 万个对象，对其进行处理、重新上传并从本地存储中删除它们。之后，我将下载接下来的 100 万个对象并重复相同的过程。
是否可以使用 AWS CLI 从 Amazon S3 存储桶下载文件以批量下载？
解决方案
推荐阅读
- angular - 从可观察对象解析数组中的对象
- laravel - 具有目标类 [MessagesController] 的 Laravel 8 项目不存在
- r - 重复索引值的向量
- sublimetext3 - Sublime Text 3 中 plugin_host 服务的目的是什么？
- lua - 在大型 lua 表中使用冒号与点进行函数声明的性能影响
- mysql - MySQL - 将行透视为逗号分隔值
- r - 避免在 dplyr 中重复 as_tibble()
- dart - 飞镖列表上清除功能的行为
- django - 图像未上传，引导卡代码上的 Django for 循环
- c++ - 传递给另一个类的方法时矩阵中断