deadlock - ExternalTask​​Operators 死锁：为什么，多久一次，以及如何解决这个问题？

Question

我正在实现预定的管道，目前我正在使用一个ExternalTaskOperator来设置 DAG 间的依赖关系。我在这里读到，如果您不手动提高上游任务的优先级，则可能会出现死锁。

我想知道这种情况有多普遍，您如何手动提高不同任务的优先级（许多源代码，如 Bash 和 Python 运算符，似乎没有priority_level参数），以及是否有任何其他更好的方法设置 DAG 间的依赖关系。

谢谢

标签： deadlockairflow

Answer 1

我从未ExternalTaskSensor在生产中使用过，因此无法评论死锁发生的频率。但除了你已经提到的priority_weight/之外，我还能想出另外两种方法weight_rule来克服这个问题

• 使用Airflowpool保证集合任务的专用插槽
• 使用s ( )的mode参数SensorBaseSensorOperator