airflow - Google Cloud Composer 服务器遇到临时错误，无法完成您的请求

Question

运行几天后，Google Cloud Composer Web UI 无限期返回 502 服务器错误：

Error: Server Error
The server encountered a temporary error and could not complete your request.
Please try again in 30 seconds.

修复它的唯一方法是重新创建 Composer 环境。尽管在运行了几天后，新环境因同样的错误而崩溃。

Image version: composer-1.4.0-airflow-1.10.0
Python version: 3

有谁知道根本原因是什么？

标签： airflowgoogle-cloud-composer

Answer 1

我没有运行 Cloud Composer，但我怀疑存在网络服务器已退出所有网络工作线程的情况。当气流读取或写入数据库的超时时间延长时，有时会发生这种情况；由于锁定或网络连接问题。它可能被配置为在完全退出时重新启动，但在某些情况下airflow webserver，即使所有 Web Worker 都已退出，该命令仍将继续执行而不退出。

或者，502 是关于为 GCP 实现的身份提供者。如果是这种情况，您可能会发现您需要退出 Google 登录并使用 Airflow 提供的登录流程（如果它响应私人浏览器会话或退出会话）。