google-cloud-composer - Pubsub 中的时间触发器 + 多个事件

Question

我在 GCS 上摄取 2 个不同的数据集。假设我在 pubsub 中分别写了一个事件 e1 和事件 e2，这两个事件发生在不同的时间。

我想在上午 9 点开始工作，并检查事件 e1 和 e2 何时在那天（上午 9 点之后）发生，然后我启动一个进程，从这两个数据集生成另一个数据集。

云作曲家是否有权构建这种要求。如果是，那么请提供一些指导如何完成

标签： google-cloud-composer

Answer 1

Cloud Composer（和 Airflow）应该适合这个用例。

schedule_interval您可以创建一个从早上 9 点开始的每日 DAG 。每个事件使用一个PubsubSensors1 (和s2)。generate_dataset假设生成另一个数据集的过程是一个操作符，那么您可以通过设置依赖项来确保发生这种情况：

s1 >> generate_dataset
s2 >> generate_dataset