airflow - 气流调度程序没有立即调度简单的 DAG 任务

Question

我已经安排了一个带有简单 bash 任务的 DAG，每 5 分钟运行一次：

# bash_dag.py

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta

default_args = {
    'owner': 'airflow',
    'start_date' : datetime(2019, 5, 30)
}

dag = DAG(
    'bash_count',
    default_args=default_args,
    schedule_interval='*/5 * * * *',
    catchup = False
)

t1 = BashOperator(
    task_id='print_date',
    bash_command='date',
    dag=dag
)

调度工作正常，DAG 每 5 分钟阈值执行一次。但是，我注意到第 5 分钟阈值和任务排队时间之间存在显着延迟。对于图像中显示的示例，任务排队需要 3 到 50 秒。例如，映像中的最后一次 DAG 执行本应在 20:05:00 之后触发，但任务实例在 28 秒后（20:05:28）排队。

我很惊讶会出现这种情况，因为正在安排的 DAG 有一个非常简单的任务。这是正常的气流延迟吗？在处理更复杂的 DAG 时，我是否应该期待进一步的延迟？

我在带有 OS Mojave 的 16 GB Mac 上运行本地气流服务器，Postgres 作为数据库。机器不受资源限制。

标签： airflowairflow-scheduler