时间戳

首页 > 解决方案 > 在容器内运行的 Airflow 任务未启动

docker - 在容器内运行的 Airflow 任务未启动

问题描述

我正在尝试让 Airflow 在容器中启动并运行，并使用此处提供的图像。我发现虽然 DAG 进入运行状态（在 UI 上），但 DAG 中的任务似乎无限期地等待并且从未真正被触发。鉴于文档中给出的一些步骤是可选的，我按照这些步骤在我的容器中启动并运行示例 DAG -

从 dockerhub 拉取镜像

docker pull puckel/docker-airflow

使用默认设置触发 Airflow，应该使用 Sequential Executor 启动它

docker run -d -p 8080:8080 -e LOAD_EX=y puckel/docker-airflow

尽管我过去曾在 Airflow 上工作过，但我对设置 Airflow 和 docker 还是比较陌生。所以，我可能在这里遗漏了一些非常基本的东西，因为似乎没有其他人面临同样的问题。任何帮助将不胜感激。

标签： dockerairflowairflow-scheduler

解决方案

顺序执行器不是调度程序，因此它只运行手动创建的作业，从 UI 或运行命令。某些类型的任务不会在顺序执行器中运行，我认为它的 SubdagOperators 不会。老实说，它应该执行 dummy、bash 或 python 任务，但如果您运行调度程序、本地执行程序和数据库，您可能会节省时间来解决这个问题。Puckel 有一个示例 docker compose 文件，https://github.com/puckel/docker-airflow

推荐阅读