首页 > 解决方案 > Apache Airflow 池:已用插槽 > 可用插槽

问题描述

我有 6 个 subdags。它们中的每一个都包含一个pool='crawler'需要大量资源的任务,因此我创建了一个crawler只有 1 个插槽的池。

当我运行 DAG 时,似乎绕过了池限制并且同时执行了所有六个任务(从屏幕截图中可以看到)。

如何强制使用的插槽成为<=可用插槽?

气流池

标签: airflow

解决方案


源代码

SubDagOperator 不支持气流池。因此资源可以被 SubdagOperators 消耗


推荐阅读