python - 使用 Lambda 从 S3 将大文件的内容写入 Dynamo

Question

我在 S3 存储桶中有多个大型 csv 文件。我想将他们的数据写入 dynamoDB 表。问题是我的函数运行超过 15 分钟并在没有完全将 csv 文件写入 DynamoDB 的情况下出现超时错误。那么有没有办法将csv分成更小的部分？

到目前为止我尝试过的事情

this - 这不会像它应该的那样调用自身（在表中写入几行然后停止而没有任何错误
。aws 文档- 给出 s3fs 模块未找到错误。尝试了很多方法使其工作但不能.

无论如何我可以完成我的任务吗？

谢谢你

标签： pythonamazon-s3lambdaamazon-dynamodbboto3

Answer 1

我可以通过将 dynamodb 上的写入容量提高到最低 1000 来解决我的问题（部分）。我可以在 10 分钟内写出 100 万条记录。我仍然需要拆分 csv 文件。同样使用 batch_write 而不是逐行编写每个项目也有很大帮助。