amazon-web-services - 通过 wget 或 cURL 下载 S3 对象时速度低

Question

我注意到当使用 aws-cli 下载 S3 对象时，下载速度几乎可以达到 2Gb。但是当我使用 cURL 或 wget 下载对象时，下载速度只能达到 100MB/s。

aws-cli 可以分离对象并并行下载。但是有什么办法可以加快 cURL 或 wget 的下载速度呢？

标签： amazon-web-servicesamazon-s3

Answer 1

您是正确的，AWS 命令​​行界面 (CLI)可以使用多部分下载来并行下载内容。这涉及对 AWS 的多个 API 调用。

但是，curl并wget使用无法并行操作的传统 HTTP 请求。

如果您要从 Amazon S3 下载大量数据，请使用 AWS CLI 或AWS DataSync。