时间戳

首页 > 解决方案 > 气流任务卡在排队状态

kubernetes - 气流任务卡在排队状态

问题描述

我们使用 KubernetesExecutor 和 KubernetesPodOperator 运行 Airflow 1.10.12。在过去的几天里，我们看到任务卡在排队状态很长一段时间（老实说，除非我们重新启动调度程序，否则它将保持在该状态），同一个 DAG 的新任务被正确调度.

唯一有帮助的是手动清除它，或者重新启动调度程序服务

我们通常会在运行 E2E 测试时看到它发生，这会为我们的 3 个 DAG 中的每个人产生约 20 个 DAG 运行，由于并行性有限，一些会排队（这对我们来说很好）

这些是我们的并行参数airflow.cfg

parallelism = 32
dag_concurrency = 16
max_active_runs_per_dag = 16

我们的 2 个 DAG，覆盖the max_active_runs并将其设置为 10

知道是什么原因造成的吗？

标签： kubernetesairflowairflow-scheduler

解决方案

推荐阅读