airflow - 如果更改气流 DAG 会发生什么?
问题描述
Airflow 监控新 DAG 的 DAG 位置并(每分钟左右)拾取它们,而无需重新启动。
如果将更新的 dag 定义上传到 dag 位置会发生什么?
假设我有一个名为“foodag”的 dag,它生成 1 个文件并每小时运行一次。在 0100 时,我部署了一个新版本的“foodag”,它现在生成 2 个文件。目前有一个运行在 0100 开始,另一个在 0200 开始。
在 0100 运行会生成多少个文件?这里有比赛条件吗?0200 的那个呢?
解决方案
如果在 DAG 当前运行时部署 DAG 的新版本,则当前运行的 DAG (0100) 将运行旧版本(生成 1 个文件)。下一次运行 (0200) 将具有最新版本(生成 2 个文件)。
推荐阅读
- angular - this.route.snapshot.params.get 不是函数
- python - Python: TypeError: '(0, slice(None, None, None))' is an invalid key
- python - 将 python 运行的 PostgreSQL 数据库连接到 Flutter Web 应用程序
- go - 如何从另一个包初始化未导出的结构
- google-cloud-platform - 如何关闭谷歌云平台安全密钥强制执行?
- cypress - 赛普拉斯:我试图拦截来自 1 个按钮单击的 10 个呼叫,但 cy.wait().should 只点击最后一个呼叫
- xcode - 未找到模块“device_info”
- javascript - 在 React 应用程序中使用 Redux 获取文本输入值
- c++ - 缩放对齐框
- java - @Where、@SQLDelete 与不同数据库的兼容性