时间戳

首页 > 解决方案 > 气流任务按计划运行延迟

airflow - 气流任务按计划运行延迟

问题描述

我正在尝试为经常性工作设置气流集群，例如每小时第 5 分钟运行的每小时工作。作业运行但开始时间总是比其计划时间（执行时间）晚一小时。

dag = DAG(dag_id="dag_id",
          description=d'some jobs',
          schedule_interval="5 * * * *",
          default_args=default_args,
          start_date=datetime(2019, 7, 24), catchup=True)

任务实例属性：

执行日期：2019-08-08T16:05:00+00:00

开始日期：2019-08-08 17:05:19.007417+00:00

结束日期：2019-08-08 17:05:28.065114+00:00

标签： airflowairflow-scheduler

解决方案

调度程序在每个周期结束时运行。这个想法是直到 6:05 才能处理 5:05 到 6:05 的数据。

我见过的最好的地方是在一个 Airflow 提交者的幻灯片上。请参阅幻灯片 11-13：https ://drive.google.com/file/d/1DVN4HXtOC-HXvv00sEkoB90mxLDnCIKc/view

推荐阅读