首页 > 解决方案 > 可以使用追赶来回填 Airflow 中失败的 dag 运行吗?

问题描述

我已经读过 Airflows 追赶功能适用于还没有状态的任务实例 - 即调度程序将获取 DAG 尚未运行的任何执行日期(从给定的 start_date 开始) - 这是正确的,如果是这样,这是否意味着追赶不适用于失败的 DAG 运行?

我正在寻找一种方法来回填任何失败的执行日期,而不是根本没有运行。

标签: airflow

解决方案


查看回填命令选项。你可以使用rerun-failed-tasks

如果设置,回填将自动重新运行回填日期范围内的所有失败任务,而不是抛出异常默认值:False

reset-dagruns

如果设置,回填将删除现有的与回填相关的 DAG 运行,并重新开始运行新的 DAG 运行 默认值:False

另外,请记住这一点:

如果使用了 reset_dag_run 选项,回填会首先提示用户气流是否应该清除回填日期范围内所有之前的 dag_run 和 task_instances。如果使用 rerun_failed_tasks,回填将在回填日期范围内自动重新运行之前失败的任务实例。

在做上述任何事情之前,我的建议是你先用一些虚拟 DAG 或类似的东西尝试一下。


推荐阅读