时间戳

首页 > 解决方案 > 在开始新的请求集之前，气流等待所有任务完成

airflow - 在开始新的请求集之前，气流等待所有任务完成

问题描述

我正在使用气流 1.9.0。我们意识到调度程序有时会卡住，等待一个长时间运行的任务完成，然后再开始一组新的任务。发生这种情况时，所有气流任务都将失效，除了长时间的工作。

root      5111     1  0 17:58 ?        00:00:02 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root      5489  5119  0 17:58 ?        00:00:11 /usr/bin/python2 /usr/bin/airflow run ....
root      5522  5489  0 17:59 ?        00:00:01 /usr/bin/python2 /usr/bin/airflow run ....
root      5118  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5119  5111  0 17:58 ?        00:00:00 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root      5120  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5121  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5122  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5123  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5124  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5125  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5126  5111  0 17:58 ?        00:00:00 [airflow] <defunct>

知道我们做错了什么吗？

谢谢，

标签： airflowairflow-scheduler

解决方案

-n 5从中删除/bin/airflow scheduler -n 5。这-n是一个传统的气流功能。LocalExecutor 在进程中运行，因此有这种行为。使用 Airflow 1.8.1+，不要使用“-n 5”，你不会遇到 LocalExecutor 的问题。

有关它的更多信息：https ://issues.apache.org/jira/browse/AIRFLOW-401?focusedCommentId=16094732&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#comment-16094732

推荐阅读