amazon-redshift - 每天拉取数据
问题描述
我的redshift集群中有数据,每天从redshift中提取数据并在redshift基础上创建一个新的新表YY的最佳方法是几个sql查询。
就像我们在 redshift 中有一个表 XX,我想在 redshift 中创建一个表,从表 XX 中提取前 10 行
创建表 YY 作为 Select top 10 * from XX
解决方案
使用AWS-Glue
您可以安排作业,然后编写脚本代码来做特定的事情。AWS-glue
可以在以下 3 种类型的事件上触发代码,在您的情况下,我认为 #1 适用。
- 基于 cron 计划的触发器。
- 基于事件的触发器;例如,成功完成另一个作业可以启动 AWS Glue 作业。
- 按需启动作业的触发器。
在我看来,对于您的情况,这应该更适用。
我希望这能给你一些指示。
推荐阅读
- node.js - 注销后在登录时记录旧用户数据以使用 JWT 做出反应
- reactjs - 当我使用 window.innerWidth 在类名之间切换时,如何在调整大小时使反应应用程序响应?
- python - pandas read_csv 在 Mac OS 上通过 cron 运行时不起作用
- android - 在 Flutter 应用程序中使用 android.hardware.usb
- tensorflow - Tensor2tensor:我的自定义问题从未注册过注册表问题
- c# - 如何在单个应用程序中处理多个域?ASP.net core 3.0(剃须刀页面,天蓝色)
- javascript - 在firebase中注册之前检查电子邮件是否是真实的
- git - 输入“git remote -v”时没有响应
- spring-boot - JPQL 查询/JPA/Spring boot 更新多对多表的最佳实践
- javascript - 从 React 中的参数获取价值