json - 将 s3 中的 json 文件导入 postgres RDS

Question

我想制作一个脚本（也许是 lambda？），所以上传到这个 s3 的每个新 json 文件也直接上传到位于PostgreSQL RDS.

json 嵌套在里面，里面包含 json 列表，所以在 Postgres 中解析它并不是那么简单。此外，它具有不断变化的列数，因此新文件可能会在表中添加新列。（如果一个文件有一个尚未出现的新列，我想添加它并为其余的表值放置空对象）。

我怎样才能有效地做到这一点？

标签： jsonpostgresqlamazon-web-servicesamazon-rds

Answer 1

如建议的那样，您可以编写 lambda 来侦听 S3 事件并在上传新文件时触发函数。

https://n2ws.com/blog/aws-automation/lambda-function-s3-event-triggers

触发一个事件，您需要读取和解析文件。

现在连接到数据库并在从对象生成它们后运行 sql 查询。