mysql - 气流:所有任务已完成,但 dag 状态正在运行
问题描述
我正在使用带有 CeleryExecutor 和 mysql-8.0.22 的 Airflow 2.0.0。
每次我们执行任何 dag。无论所有任务状态是失败/成功/混合,总体 dag 状态始终处于运行状态。
因此,一段时间后,调度程序也会崩溃。
Airflow 安装在 /root/ 这是airflow.cfg:
[core]
dags_folder = /var/airflow/dags
executor = CeleryExecutor
sql_alchemy_conn = mysql://user:password@localhost:3306/airflow
[logging]
base_log_folder = /var/airflow/logs
[webserver]
base_url = http://localhost:8080
default_ui_timezone = UTC
web_server_host = 0.0.0.0
web_server_port = 8080
[celery]
celery_app_name = airflow.executors.celery_executor
worker_concurrency = 8
worker_log_server_port = 8793
broker_url = sqla+mysql://user:password@localhost:3306/celery
result_backend=db+mysql://user:password@localhost:3306/celery
flower_host = 0.0.0.0
flower_port = 5555
operation_timeout = 1.0
[scheduler]
child_process_log_directory = /var/airflow/logs/scheduler
有人可以帮忙吗。
解决方案
您的数据库是否与您的气流工作人员在同一节点上运行?看起来不对。
推荐阅读
- flutter - 保持活动列表子小部件和使用 AutomaticKeepAlive 子小部件有什么区别?
- r - 根据其他列值选择时间序列中的特定时间
- python - np.isin - 测试 Numpy 数组是否包含考虑顺序的给定行
- android - 我可以使用与 kotlin 相同的代码库创建一个 android、ios 和 web
- javascript - 将值从子组件传递到父组件 - 在子组件中选取数量值,将它们作为总和呈现在父组件上
- macos - ssh 连接断开时丢失 tmux 会话
- python - 无法访问 Flask 应用生产服务器中的查询字符串参数
- discord - 公会成员计数未在 Discord.py 的 tasks.loop 中更新
- kibana - ELK -Kibana 查询以获取错误百分比
- d3.js - 使用 d3 scaleTime 显示年月日的多轴