airflow - Airflow DAG 在每小时计划中缺少运行
问题描述
我遇到了一个相当奇怪的问题,即每小时一次的 Dag 每天都错过了预定的跑步。
这个每小时 dag 计划为 0 * * * *,但它不会生成 0500 小时的运行
我有另一个每日 Dag,它对该每小时 dag 中的任务具有交叉依赖关系。每日 dag 计划为 0 5 * * *
我不知道是什么导致 Airflow 跳过安排整个运行。我的 dag 没有任何并发或 max_active_runs 设置。也没有任务级别的并发限制(池、task_concurrency)。即使设置了它们,我相信这些参数只会将 dags 或任务的执行排队,而不是完全跳过计划运行(也许有人确认)?
我猜这将是全局 Airflow 设置中的某些内容,它限制了同时安排的活动 dag 运行的数量。有什么建议吗?我们的基础架构团队很久以前就搭建好了环境,所以我需要提供一些说明让他们看看
气流版本 1.10.12
解决方案
推荐阅读
- azure - Azure BACPAC 还原从 Azure Devops 随机失败
- java - HAPI - 如何允许处理 MSH-9 中只有 1 个组件的消息类型
- image - 如何使用 Typscript 在同一视图中显示视频和图像
- reactjs - 是否可以更改使用 firebase 显示推送通知的方式
- tfs - TFS 构建代理会话的显示设置
- node.js - 如何在 TypeScript 中获取错误类型?
- javascript - 复选框更改时在模型上设置值
- html - 我的网站如何能够用于移动设备
- amazon-web-services - 我可以在 AWS SQS 上的多个队列之间共享 MessageGroupID 吗?
- c# - using 块内的 C# 语句返回 null