时间戳

首页 > 解决方案 > 过去 end_date 的气流 dag 不会触发计划

apache-spark - 过去 end_date 的气流 dag 不会触发计划

问题描述

我有一个具有以下配置的气流 dag：

{
 'start_date': datetime(2017, 1, 1, 0, 0, 0)
 'end_date': datetime(2019, 6, 1, 0, 0, 0),
  schedule_interval='@yearly',
  catchup=True
}

对于上述情况，创建了 2 个计划

=> 2017-01-01, 2018-01-01.

它不会为 2019-01-01 创建，因为我仅在计划间隔完成后才了解调度程序计划。在这种情况下，2019年还没有结束，所以没有安排。

由于我已经给出了 end_date，调度程序是否应该理解 end_date 已经结束并触发它。

我知道通过将 start_date 调整到一年前并调整工作中的日期范围（execution_date + 1 年）的解决方案。（例如，从 start_date 开始安排：2016-01-01）。所以我们将有 3 个时间表（2016 年、2017 年、2018 年）来获取所有窗口。

有没有人可以处理这个或者我错过了什么？任何指针都会非常有帮助。

谢谢，亚历克斯

标签： apache-sparkairflow-schedulerairflow

解决方案

推荐阅读