amazon-web-services - AWS Glue 如何在表预处理中截断或删除行

Question

我有一个提取和加载的粘合过程，但是在加载之前我想从表中截断/删除

我查看了此链接 https://aws.amazon.com/premiumsupport/knowledge-center/sql-commands-redshift-glue-job/#

似乎这仅适用于 redshift - 另一种选择是获取连接详细信息并直接打开连接。

有什么我可以在火花上下文中使用的东西（不要认为胶水是一种选择）来做到这一点。

谢谢。

标签： amazon-web-servicespysparkapache-spark-sql

Answer 1

您可以在 Glue 事件上触发 Lambda 函数

https://docs.aws.amazon.com/glue/latest/dg/automating-awsglue-with-cloudwatch-events.html