时间戳

首页 > 解决方案 > 在 aws 胶水中完成多个依赖作业后运行作业

amazon-web-services - 在 aws 胶水中完成多个依赖作业后运行作业

问题描述

我有多个 Glue 作业J1、J2、J3，它们是通过 AWS Lamda 触发的，而 Lambda 是通过 S3 存储桶上的文件触发的。

顺序如下：-

S3(Bucket B1)--文件添加-->L1(Lambda触发)-->J1(Glue Jobs)-->插入数据T1表(RedSfhift)

S3(Bucket B2)--文件添加-->L2(Lambda触发)-->J2(Glue Jobs)-->插入数据T2表(RedSfhift)

S3(Bucket B3)--文件添加--> L3(Lambda触发)-->J3(Glue Jobs)-->插入数据T3表(RedSfhift)

现在，在完成所有这 3 个作业后，我想触发一个单独的 Glue 作业（JFinal），它将处理来自 T1、T2 和 T3 的数据并进行一些计算，然后插入到TFinal表中。

现在我们如何触发作业JFinal。J1、J2、J3作业是独立的，执行顺序可以不同。

标签： amazon-web-servicesaws-lambdaaws-glue

解决方案

AWS Step 函数将是一个很好的解决方案。您必须配置您的步进机器，您的 3 个作业可以独立运行，但JFinal仍会等到所有其他作业完成。请参阅：Step Functions 入门

推荐阅读