amazon-web-services - 处理从 aws s3 到数据库的巨大 csv 文件

Question

我有一个包含 2M 条记录的 csv 文件，每天将上传到 AWS S3 一次或两次。我需要将此文件转储到我们的数据库中，该数据库有时可以处理大约 ~1K 记录或 ~40-50k/min 使用批量上传.

我打算使用 AWS lambda，但由于它的超时时间为 15 分钟，我只能插入 ~0.7M 记录。我还读到我们可以调用另一个具有新偏移量的 lambda 函数，但我希望暂时处理这个文件.

对于这种情况，我的理想方法应该是什么。我应该启动一个 EC2 实例来处理批量上传吗？

任何帮助，将不胜感激

标签： amazon-web-servicesamazon-s3aws-lambda

Answer 1

考虑使用数据库迁移服务。

您可以使用 AWS DMS将数据从 Amazon S3 存储桶迁移到数据库。源数据文件必须采用逗号分隔值 (.csv) 格式。