google-cloud-composer - 如何列出气流工作吊舱中正在运行的 dag
问题描述
我们有 3 个 composer GKE 节点和 3 个 worker pod,均匀分布在所有 3 个节点中。我需要知道如何检查哪个 DAG 或任务当前在哪个 pod 中运行。我尝试运行气流 list_dag,但它显示了我认为的所有 dag。我只需要知道哪个 dag 在哪个 pod 中运行。是否可以将 pod 从一个节点移动到另一个节点。有时我的 pod 并没有均匀地分布在所有 3 个节点中。
解决方案
有两种方法可以从 Airflow UI 获取此信息:
您可以转到Browse -> Task Instances并获取主机名以了解任务在哪个工作人员上运行。您还可以应用过滤器等。
或者,您可以转到数据分析以运行Ad Hoc Query,例如以下查询:
SELECT dag_id, task_id, state, hostname
FROM task_instance
WHERE state = "running"
推荐阅读
- python - Python:使用字符串列表过滤字典键
- c# - 数据网格中选定的文本框在单击时缩进
- html - 按钮不为移动设备调整大小
- javascript - 禁止在字符串中交换人员敏感信息
- r - 删除 NA 并仅填充 tableGrob 中包含数字的单元格
- reactjs - 类型检查 AgGridReact
- windows-10 - 如何在没有外部源的情况下修复winsxs文件夹?
- c# - 如何在 Unity 中制作组合计时器
- python - 如何使用 azure 函数在 azure blob 存储中编辑 *.csv 文件?
- django - Django - settings.py 中的“myapp”与“myapp.apps.myappConfig”