airflow - 可以使用追赶来回填 Airflow 中失败的 dag 运行吗?
问题描述
我已经读过 Airflows 追赶功能适用于还没有状态的任务实例 - 即调度程序将获取 DAG 尚未运行的任何执行日期(从给定的 start_date 开始) - 这是正确的,如果是这样,这是否意味着追赶不适用于失败的 DAG 运行?
我正在寻找一种方法来回填任何失败的执行日期,而不是根本没有运行。
解决方案
查看回填命令选项。你可以使用rerun-failed-tasks
:
如果设置,回填将自动重新运行回填日期范围内的所有失败任务,而不是抛出异常默认值:False
或reset-dagruns
:
如果设置,回填将删除现有的与回填相关的 DAG 运行,并重新开始运行新的 DAG 运行 默认值:False
另外,请记住这一点:
如果使用了 reset_dag_run 选项,回填会首先提示用户气流是否应该清除回填日期范围内所有之前的 dag_run 和 task_instances。如果使用 rerun_failed_tasks,回填将在回填日期范围内自动重新运行之前失败的任务实例。
在做上述任何事情之前,我的建议是你先用一些虚拟 DAG 或类似的东西尝试一下。
推荐阅读
- swift - Swift Generic Type Equatable 通过对数组进行排序
- r - 我怎样才能使数据框中的一个因素永久地成为数字?
- android - 如何从 Android App Bundle 中排除 ABI?
- python-3.x - concurrent.futures.Future 可以转换为 asyncio.Future 吗?
- c# - 在满足某些条件之前选择最后 n 个元素
- asp.net-web-api - WebApi 支持隐式流(带角色)和客户端凭据授予
- sqlite - SQLite 可查询接口
- bash - 如何将文件中的文本写入二维数组
- typescript - TS 声明 test() 不是字符串上的属性?
- c# - C# for-loop 和 Array.Fill 之间的性能差异