python - 气流工作者 - 连接断开：IncompleteRead（读取 0 字节）

Question

使用 Airflow worker 和 webserver/scheduler 作为 Docker 镜像在 EC2 上的 Kubernetes Engine 上运行

我们有一个任务KubernetesPodOperator是资源密集型的，每 15 分钟运行一次。

在气流工作者中以电子邮件形式收到这些错误

Try 2 out of 3
Exception:
('Connection broken: IncompleteRead(0 bytes read)', IncompleteRead(0 bytes read))
Log: Link
Host: airflow-worker-deployment-123456789
Log file: /usr/local/airflow/logs/DAG_NAME/TASK_NAME/2019-03-14T10:50:00+00:00.log
Mark success: Link

知道它可以是什么吗？

标签： pythonairflowairflow-scheduler

Answer 1

所以，迟到总比没有好

这是因为KubernetesPodOperator. 为避免这种行为，您必须将操作符get_logs参数设置为False. 默认值为True.

详细信息在这里 https://issues.apache.org/jira/browse/AIRFLOW-3534 https://issues.apache.org/jira/browse/AIRFLOW-5571