airflow - Apache Airflow 池:已用插槽 > 可用插槽
问题描述
我有 6 个 subdags。它们中的每一个都包含一个pool='crawler'
需要大量资源的任务,因此我创建了一个crawler
只有 1 个插槽的池。
当我运行 DAG 时,似乎绕过了池限制并且同时执行了所有六个任务(从屏幕截图中可以看到)。
如何强制使用的插槽成为<=
可用插槽?
解决方案
从源代码:
SubDagOperator 不支持气流池。因此资源可以被 SubdagOperators 消耗
推荐阅读
- c - 带空指针的算术
- azure-devops - 如何配置计划以在 Azure 上的两个不同代理上运行管道?
- node.js - [ERR_MODULE_NOT_FOUND]:找不到模块
- c# - 如何知道服务总线触发功能是否成功完成?
- reactjs - 反应,返回通用组件
- javascript - 未找到 REACT 模块:无法解析 '../http-common'
- javascript - Javascript Object.getOwnPropertyNames 返回空?
- javascript - 如何从完整路径中获取文件名并存储在 Javascript 中的对象属性中?
- java - 使用 spring-cloud-gateway 时考虑 @RequestBody 参数
- javascript - Express.Router、body-parser 和 post request body