amazon-web-services - AWS 数据管道 DynamoDB 到 S3 503 减速错误

Question

我们有一个数据管道，它每晚将 DynamoDB 复制到 S3 存储桶，因此我们可以使用 Athena 运行数据报告。有时，管道会因 503 SlowDown 错误而失败。重试通常会“成功”，但会在 S3 中创建大量重复记录。DynamoDB 具有按需读取容量，管道具有 0.5 myDDBReadThroughputRatio。这里有几个问题：

1. 我假设减少 myDDBReadThroughputRatio 可能会减轻问题，如果为真，是否有人具有良好的比率，仍然可以执行但不会导致这些错误？

2. 有没有办法防止 S3 中的重复记录？我无法弄清楚为什么会生成这些？（可能未删除失败运行的记录？）

当然，对于该问题的任何其他想法/解决方案将不胜感激。

谢谢！

标签： amazon-web-servicesamazon-s3amazon-dynamodbamazon-data-pipeline

Answer 1

不建议使用 AWS Data Pipeline 进行连续备份。

AWS 最近推出了一项新功能，允许您将 DynamoDB 表数据导出到 S3 并由 Athena 进一步分析。在这里查看

您也可以使用 Amazon 胶水来做同样的事情（链接）。

如果您仍想继续使用数据管道，那么问题似乎是由于达到 S3限制而发生的。您可能需要查看是否有其他请求也同时写入 S3，或者您是否可以使用某些配置限制来自管道的请求速率。