airflow - Airflow catch 设置为 false 不能通过配置和代码工作

Question

我试图了解 Airflow 发生了什么。我已经使用 catchup=False 参数设置了我的 DAG。但是，当我启用它时，它只是从 start_date 开始运行作业。我还尝试将 airflow.cfg 设置为 False，但那里也没有运气。

另外，我一直在尝试了解清除和回填的工作原理。如果当前日期在 start_date 之前，clear 只会将状态设置为 NULL，但如果它在 start_date 之后，则会清除状态并触发日期的 dag。我想明确任何日期以简单地将当天管道的状态设置为无，就像它在 start_date 之前所做的那样。

这是一个已知的气流错误吗？我的用例是能够清除任何日期范围，然后在同一日期范围内运行回填。

标签： airflowairflow-scheduler

Answer 1

对于您关于 clear 的问题：我会说这是一项功能，而不是错误。从操作的角度来看，它非常方便。

当一个 DAG 运行时，它的一个任务失败了，也许有一些可以纠正的东西使该任务（和相关任务）成功。因此，如果您去纠正那个问题（例如缺少连接定义、防火墙问题等），您可以清除该任务（以及下游任务），然后调度程序自动将 DAG 置于运行状态并重新启动清除的任务。