airflow - 当我们有更多的 dag 文件时，会跳过气流运行

Question

我已经安装了 apache-airflow==1.10.8。我在 AIRFLOW_HOME 文件夹中有大约 200 个 dag 文件。每个 dag 文件可能需要大约 20 秒的执行时间。我已安排每个 dag 文件每 2 分钟运行一次 ' */2 * * * *' 。但是当我看到任何特定 dag 的日志时，我发现 dag 不是每 2 分钟执行一次。附上我从日志目录中获得的特定 dag 的执行时间。

2020-06-02T10:14:00+00:00

2020-06-02T10:24:00+00:00

2020-06-02T10:34:00+00:00

2020-06-02T10:44:00+00:00

2020-06-02T11:14:00+00:00

2020-06-02T11:24:00+00:00

以下是airflow.cfg中的配置

本地执行器，

并行度 = 32

dag_concurrency = 16

max_active_runs_per_dag = 16

dagbag_import_timeout = 30

dag_file_processor_timeout = 50

task_runner = StandardTaskRunner

我怎样才能让气流每 2 分钟执行一次 dag？

其他详细信息：Ubuntu 18.04 和 Python 3.7

标签： airflow