airflow - 避免气流中的过期日期
问题描述
我有以下气流 DAG:
from datetime import datetime
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
#Runs every 1 minute
dag = DAG(dag_id='example_dag', start_date=datetime(2020, 1, 1), schedule_interval='*/1 * * * *')
t1 = BashOperator(task_id='bash_task', bash_command='echo Hello!', dag=dag)
这里的问题是 Airflow 正在调度和执行过去日期的任务,例如 2020 年的第一分钟、2020 年的第二分钟、2020 年的第三分钟等等。
我希望 Airflow 仅调度和执行 dag 部署之后发生的任务(即,如果我今天部署,我希望在下一分钟执行第一个任务)而不执行过期任务。
有什么建议吗?谢谢!
解决方案
我在这里找到了答案。阅读“追赶和幂等 DAG”部分。
推荐阅读
- mysql - 在 mysql 列中搜索值
- python - 尝试使用 Flask 进行 Spotipy 身份验证时,Errno 48 地址已在用户中
- bash - Bash:如何重复相同的提示并记录所有输入的答案?
- javascript - 我可以将伪元素对象添加到 Material UI 自定义主题配置吗?
- node.js - 如何使用来自后端的包在环回nodejs mongodb模型中为端点中的post方法添加随机字符串
- google-apps-script - 如何访问通过向电子表格添加新表单创建的新工作表?
- python - 我要写什么来填充第 4 行代码的空间,以便如果 n 是素数则打印 true,因为无论如何它都会返回 true
- java - 接受任何有合适方法的类型
- yoast - 为动态存档禁用 Yoast 14+
- javascript - 如何从外部 JavaScript 检索 PHP 中的内容