时间戳

首页 > 解决方案 > Airflow 1.9.0 正在排队，但任务未运行

airflow - Airflow 1.9.0 正在排队，但任务未运行

问题描述

Airflow 突然停止运行任务。下面都在运行 airflow scheduler airflow webserver airflow worker

微信消息

满足所有依赖项，但任务实例未运行。在大多数情况下，这只是意味着任务可能很快就会被安排，除非： - 调度程序已关闭或负载过重

如果此任务实例没有很快启动，请联系您的 Airflow 管理员寻求帮助。

调度程序似乎处于循环中，不断重复以下消息。WebUI 显示任务处于排队状态。尝试重新启动调度程序，没有帮助。

[2018-11-17 22:03:45,809] {{jobs.py:1607}} DEBUG - Starting Loop...
[2018-11-17 22:03:45,809] {{jobs.py:1627}} INFO - Heartbeating the process manager
[2018-11-17 22:03:45,810] {{jobs.py:1662}} INFO - Heartbeating the executor
[2018-11-17 22:03:45,810] {{base_executor.py:103}} DEBUG - 124 running task instances
[2018-11-17 22:03:45,810] {{base_executor.py:104}} DEBUG - 0 in queue
[2018-11-17 22:03:45,810] {{base_executor.py:105}} DEBUG - 76 open slots
[2018-11-17 22:03:45,810] {{base_executor.py:132}} DEBUG - Calling the <class 'airflow.executors.celery_executor.CeleryExecutor'> sync method
[2018-11-17 22:03:45,810] {{celery_executor.py:80}} DEBUG - Inquiring about 124 celery task(s)

气流设置： apache-airflow[celery, redis, all]==1.9.0

我也检查了这些帖子，但没有帮助我：

Airflow 1.9.0 正在排队但未启动任务

气流任务卡在“排队”状态并且永远不会运行

标签： airflowairflow-scheduler

解决方案

问题解决了。当您在 2018 年 11 月 15 日或之后创建您的构建时，这是一个问题原来apache-airflow[celery, redis, all]==1.9.0需要最新版本的redis-py 3.0.1，它不适用于 celery 4.2.1。解决方案是使用 redis-py2.10.6 redis==2.10.6 apache-airflow[celery, all]==1.9.0

推荐阅读