python - 如何在限制并发的同时在气流中按顺序排列作业？

Question

我正在尝试在气流中设计一个工作流，每当新数据发布到数据库并启动 dag 时，气流都会在其中监听。在我的 dag 中，有两种服务，一种更快，一种很慢。缓慢的服务也有很差的并发性。

因此，我想根据 db 中的数据块对我的作业进行排队，并等待一个作业的完成，然后再触发另一个作业的相同 dag。

因此，假设我在 Db 上获得 1000 个条目，并且我想创建 10 个作业，每个作业的批量大小为 100。然后依次一一触发。

在气流中执行此操作的最佳方法是什么？

标签： pythonairflow