时间戳

首页 > 解决方案 > Airflow Kubernetes Pods 异常错误 - (404) 原因：未找到

kubernetes - Airflow Kubernetes Pods 异常错误 - (404) 原因：未找到

问题描述

我正在寻求支持来调试此 Airflow KubernetesPodOperator 问题。当 Airflow 任务执行时，我们随机得到这个错误。该作业几乎完成，并且在作业执行结束时，pods not found excception抛出，（在现实中，Airflow Task 这是一个 python 作业已经完成它的工作）但是由于这个异常，Airflow 将此作业标记为failed）。


ERROR - (404)
Reason: Not Found
HTTP response headers: HTTPHeaderDict({'Audit-Id': 'd4df122xx-bxcb-42f2-8c9e-768e9bbb00x9', 'Cache-Control': 'no-cache, private', 'Content-Type': 'application/json', 'X-Kubernetes-Pf-Flowschema-Uid': 'xxxx-xxx-xxx-xxxxxxxx', 'X-Kubernetes-Pf-Prioritylevel-Uid': 'xxxx-xxx-xxx-xxxxxxxx', 'Date': 'Sat, 17 Jul 2021 02:10:07 GMT', 'Content-Length': '258'})
HTTP response body: {"kind":"Status","apiVersion":"v1","metadata":{},"status":"Failure","message":"pods \"xxxx.6cb9f2cc66d0455c882cb5bae007ae84\" not found","reason":"NotFound","details":{"name":"xxx.6cb9f2cc66d0455c882cb5bae007ae84","kind":"pods"},"code":404}

我们确实在 Elasticsearch Index 中保存了详细的日志，并且在那个特殊时间没有日志来调查为什么 Airflow 没有为这个正在运行的作业找到这些 pod。

Airflow Kubernetes Expert 中的某个人能否指导正确的方向来解决和调查此问题？

标签： kuberneteskubernetes-podairflow-schedulerairflow

解决方案

推荐阅读