airflow - 为什么气流任务因尝试编号 0 和空运算符而失败?
问题描述
我有 2 个气流工作人员,每个工作人员在机器 A 中运行文件传感器任务,而在机器 B 中运行 rsync 任务(将文件从 A 复制到 B)以及复制文件的另一个文件传感器任务。有时 rsync 任务会在未尝试执行的情况下失败,并且不会生成日志文件。tasks的触发规则是all_done和airflow v1.9
传感器任务使用我禁用的 xcom_push 和 xcom_pull 但同样的问题发生
-[ RECORD 3 ]---+-----------------------------------------------------
task_id | task_name (rsync)
dag_id | dag_name
execution_date | 2019-10-08 19:30:00
start_date |
end_date | 2019-10-08 20:20:21.649662
duration |
state | failed
try_number | 0
hostname |
unixname | nio
job_id |
pool | pool_name
queue | queue name of machine B
priority_weight | 3
operator |
queued_dttm | 2019-10-08 20:20:20.550397
pid |
max_tries | 3
运算符为空重试为0且状态为失败
期望 rsync 任务将运行。
解决方案
推荐阅读
- python - 滚动时间序列数据集的高效构建
- java - 为什么在我使用处理程序和简单视图时我的应用程序很慢?
- laravel - 如何在 vuejs / Laravel 中验证动态输入
- python - 分层凝聚聚类:如何更新距离矩阵?
- c - C 函数 crypt() 是否存在已知问题?
- sql - 检查(table1.integer >= table2.integer)
- react-native - 是否可以使用变量设置 useState ?
- .net - 尝试使用 ConfigurationBuilder 但得到 FileLoadException
- find - 获取 Mercurial 中文件列表中每个文件的最后一次提交
- c# - 即使表单不可见/关闭,如何制作按键事件处理程序?