amazon-web-services - 如何在 Amazon Redshift 中定期插入数据?
问题描述
我想定期将来自 S3(或其他字体)的数据插入 Amazon Redshift,即,当数据添加到我的 S3 存储桶时,我想要一个选项来自动将其添加到我的 Amazon Redshift 集群中。
解决方案
我首选的方法是建立一个触发器,每次在存储桶的一部分中创建文件时触发该触发器。此触发器创建一个事件,该事件启动一个向 Redshift 发出所需 SQL 的 Lambda 函数。(或者,如果 Redshift 中需要的工作很复杂或运行时间很长,我将使用阶跃函数,但这种情况很少见。)
示例设置:
https://docs.aws.amazon.com/AmazonS3/latest/userguide/NotificationHowTo.html https://64lines.medium.com/building-a-aws-lambda-function-to-run-aws-redshift-sql -scripts-in-python-7468b7c2fdea
如果可以的话,我会从简单的开始,然后使用 Redshift Data API 和 Step 函数。
推荐阅读
- visual-studio-2015 - SSIS ScriptResults.Failure vs Dts.Events.FireError - 默认行为?
- javascript - 修复创建粘性滚动导航栏时的“跳转”
- spring-boot - Intellij Spring Boot 项目运行配置
- windows - cd是什么意思。> 在 Windows CMD 中创建空文件?
- javascript - 如何使状态钩子异步
- apache-kafka - 是否可以单独使用 Flume Kafka Source?
- postgresql - 将记录复制到表中并更新父记录id关系
- sql-server - SQL Server - 列出经理及以上的员工
- jekyll - 我可以在 Jekyll 液体过滤器中使用 Front Matter 吗?
- python - 如何使用 lambda python 函数来使用 map 如下?