amazon-web-services - 使用 Lambda 将数据从 S3 导入到 Dynamo

Question

如果我在 S3 上有一个 JSON 格式的 1GB 文件。我需要一个内存超过 1GB 的 lambda 函数来一次加载所有文件吗？

我想用 lambda 对其进行转换，然后将其放入 dynamodb 表中。

许多文件的 json 格式是：

[
 {
   //data
 },{
   // Data again
 }
]

所以这是一个数据项数组，将使用 Golang 加载。另一种选择是将大文件拆分为 100MB 的文件，例如，我会有大约 100 个文件，因为有很多 1GB 的文件。现在不确定最好的解决方案，这只会作为初始迁移发生一次。

标签： amazon-web-servicesaws-lambdaserverless-frameworkserverless