时间戳

首页 > 解决方案 > 回填/清除旧 DAG 时 dagrun_timeout 会干扰吗？

airflow - 回填/清除旧 DAG 时 dagrun_timeout 会干扰吗？

问题描述

我有一个如下所示的 DAG，dagrun_timeout设置为 4 小时。当我转到 UI 并清除从 start_date 到当前的所有任务时，所有 DAG 都设置为运行状态。

4 小时后，任何尚未将自身标记为成功的 DAG 都将被标记为失败，即使它们尚未真正启动。我想知道这是否是预期的行为。

dagrun_timeout如果我想以这种方式重新运行 DAG，我应该删除并在任务级别设置超时吗？或者airflow backfill如果我想在没有dagrun_timeout干扰的情况下重新运行所有 DAG，我应该使用它吗？

理想情况下，我希望能够使用 UI，因为其他团队成员会想要重新运行 DAG。


default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2019, 5, 1),
    'email': ['lol@example.com'],
    'email_on_failure': True,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=1),
}


dag = DAG(
    dag_id='example_dag',
    default_args=default_args,
    max_active_runs=8,
    schedule_interval='15 * * * *',
    dagrun_timeout=timedelta(minutes=60*4),
)

标签： airflowairflow-scheduler

解决方案

我认为这是预期的行为，但只是一个误导性的参数名称。之前已经在邮件列表中讨论过，请参阅https://lists.apache.org/thread.html/7bda30f518bedbaaa763ba73a5e3bbe386cb0d090834c819f81c65ec@%3Cdev.airflow.apache.org%3E。

将超时移动到任务级别是一个公平的选择，只是理解它会有所不同，因为您可能想要确定每个任务的合理超时。如果在普通（非回填）场景中 DAG 运行时间超过 4 小时时提醒您很重要，那么我会在所有任务上添加 4 小时 SLA。当您清除回填任务时，它会立即触发 SLA 未命中，但至少它们应该全部同时发生并且不会使您的运行失败。

推荐阅读