airflow - 气流回填和追赶有什么区别
问题描述
我试图了解气流中的追赶和回填。我了解什么是追赶,但我还没有完全了解回填到底是什么以及它是如何使用的。
我已阅读文档,但找不到理解回填的好例子。
解决方案
从文档 Backfill 和 Catchup 是同一件事1。如果参数在您的 DAG 参数catchup
中设置为True
,则 Airflow 调度程序将执行回填,即它将执行您start_date
和您的潜力之间所有缺少的 DAG 运行end_date
。
推荐阅读
- node.js - 服务器端套接字 io 未能发出事件
- python - 从 sharex 中排除轴
- docker - 无法在 Github Actions 工作流程上访问 localhost
- android - Android studio arctic fox 在 Macbook Air M1 上抛出“原因:错误 = 86,可执行文件中的 CPU 类型错误”。有人遇到同样的问题吗?
- swift - onChange(of: perform:) 枚举在 swiftui 中不起作用
- django - django 创建视图使用更多模型
- java - 从 RxJava observable (Android) 设置 LiveData 值
- django - 如何仅从关注的用户返回文章?
- python - 如何使用python在mysql中更新?
- reactjs - 在 React 中将模态组件添加到卡片组件