etl - 如何获得正确的气流时间表

Question

我对气流计划的工作方式感到非常困惑。我想安排一个在周五运行的 dag，我想在周六使用它的结果。所以我做了这样的 crontab 表达式：00 16 * * 5但是，截至今天 2020 年 3 月 10 日，我从气流运行中获得的最后执行日期是 2020 年 2 月 28 日。这是不希望的，因为最近的星期五实际上是 2020 年 3 月 6 日，除非我每天安排它并在不是星期五时跳过它，否则我无法让 2020 年 3 月 6 日运行。有没有办法正确地执行这个计划？

标签： etlairflowairflow-scheduler

Answer 1

很多人对 Airflow 的工作原理execution_date和schedule_interval价值观感到困惑，即它会等待一段时间“关闭”，然后才会在这段时间内执行；这是我之前给出的答案的一部分：

可以这样想：如果您每季度运行一个流程并根据该季度的数据生成一份报告，您会将该报告命名为您创建文件时所在的季度，还是报告中数据来自该季度的报告？ ? 就是这样execution_date。

尝试将您的时间更改start_date为小于一个完整的计划间隔。它应该在 03/06 运行，但它execution_date会说02/28