时间戳

首页 > 解决方案 > 计划每分钟运行一次的 Airflow DAG 有时不运行

airflow - 计划每分钟运行一次的 Airflow DAG 有时不运行

问题描述

我们的一些 DAG 计划在给定小时的前 5 分钟内每分钟运行一次。例如，DAG 可能在以下位置运行：

20:01
20:02
20:03
20:04
20:05

大多数情况下，这可以正常工作，但有时会丢失整个 DAG 运行。例如，DAG 可能在以下位置运行：

20:01
20:03
20:04
20:05

我们打开了详细日志记录，但我在 20:02 的调度程序日志中看不到任何内容，这显然解释了为什么 DAG 从未运行过。我也没有看到其他问题指向的潜在罪魁祸首 DAG 解析时间延长：

Number of DAGs: 177
Total task number: 259
DagBag parsing time: 7.171621999999997

数据库资源利用率极低，这有时也被认为是罪魁祸首。如果有人知道如何解决这个问题或假设什么可能导致 DAG 不能在给定的 1 分钟间隔内运行，但在接下来的 1 分钟间隔内运行良好，请告诉我。或者，如果您对在调度程序日志中从不调度 DAG 时期望看到的内容有建议，那将很有帮助。

标签： airflowairflow-scheduler

解决方案

推荐阅读