时间戳

首页 > 解决方案 > 将 S3 存储桶导出到 Blob 存储

amazon-web-services - 将 S3 存储桶导出到 Blob 存储

问题描述

我正在尝试下载、转换整个 S3 存储桶并将其上传到 Azure Blob 存储。任务本身虽然微不足道，但由于节流问题而变得非常烦人。存储桶本身是 4.5TB 并且包含大约 700,000,000 个密钥 - 我的第一个方法是创建一个 Lambda 来一次处理一批 2000 个密钥并攻击 S3。启动所有 lambdas 后，我第一次遇到 S3 节流 -

{ "errorMessage": "请降低您的请求率。", "errorType": "SlowDown"}

起初这很有趣，但最终它成为整个迁移过程的障碍。使用此限制策略转移整个存储桶将花费我大约 2 周的时间。当然，我实现了指数重试，但在这种同时有 100 多个 lambda 的规模下，它几乎没有效果。我错过了什么吗？有我可以使用的服务吗？我能以某种方式克服节流吗？任何帮助，将不胜感激。

标签： amazon-web-servicesazureamazon-s3azure-blob-storagethrottling

解决方案

推荐阅读