首页 > 解决方案 > 如何在 Amazon Redshift 中定期插入数据?

问题描述

我想定期将来自 S3(或其他字体)的数据插入 Amazon Redshift,即,当数据添加到我的 S3 存储桶时,我想要一个选项来自动将其添加到我的 Amazon Redshift 集群中。

标签: amazon-web-servicesamazon-s3amazon-redshift

解决方案


我首选的方法是建立一个触发器,每次在存储桶的一部分中创建文件时触发该触发器。此触发器创建一个事件,该事件启动一个向 Redshift 发出所需 SQL 的 Lambda 函数。(或者,如果 Redshift 中需要的工作很复杂或运行时间很长,我将使用阶跃函数,但这种情况很少见。)

示例设置:

https://docs.aws.amazon.com/AmazonS3/latest/userguide/NotificationHowTo.html https://64lines.medium.com/building-a-aws-lambda-function-to-run-aws-redshift-sql -scripts-in-python-7468b7c2fdea

如果可以的话,我会从简单的开始,然后使用 Redshift Data API 和 Step 函数。


推荐阅读