时间戳

首页 > 解决方案 > 两个反向代理后面的气流 - 图 GET 请求不包含任何 DAG ID

nginx - 两个反向代理后面的气流 - 图 GET 请求不包含任何 DAG ID

问题描述

我的设置：

我在两个 nginx 代理后面运行 Airflow 1.10.9。第一个代理将请求转发到位于专用网络中的第二个代理。第二个代理将请求转发到请求的 Airflow 实例，其中气流主机在 URL 中指定。这基本上允许我们运行多个气流实例并正确路由到它们。

我还将 Airflow base_url 更新为http://myhost/airflow-<airflowid>/Here，URL 的气流 id 部分是第二个代理如何识别要转发到哪台机器的方式。

代理设置正在运行，因为可以访问 Airflow UI，并且我可以看到我的 DAGS 已加载到 UI 中。但是，当我尝试与 DAG 交互时，出现以下错误：

DAG "None" seems to be missing.

我将问题追溯到到达 Airflow UI 的 GET 请求。我可以看到该请求不包含任何 DAG ID。在我的工作 Airflow 实例（一个不在任何代理后面运行的实例）上，请求包含 DAG ID run_etl：

"GET /graph?dag_id=run_etl&root=&execution_date=2020-02-10T11%3A42%3A14.454118%2B00%3A00 HTTP/1.1" 200 10174 "http://10.83.163.248:3128/graph?dag_id=run_etl" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36"

在专用网络中运行的 Airflow 实例上，GET 请求不包含 DAG ID：

"GET /admin/airflow/graph HTTP/1.1" 302 221 "https://<redacted host>/admin/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36"

我的nginx配置如下：

代理 1：

server {
    listen 443 ssl;
    server_name  <redacted server name>;

    location ~ /airflow-(.*) {
        proxy_pass http://172.23.7.79:80;
        proxy_redirect off;
        proxy_http_version 1.1;
        proxy_set_header Host $host;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

代理 2：

server {
    listen     80;

    location ~ /airflow-([^\/]+)/(.*) {
        proxy_pass http://$1-<redacted hostname>:8080/airflow-$1/$2;
        proxy_redirect  off;
        proxy_set_header Host $host;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }

}

任何关于这里有什么问题的想法将不胜感激！

标签： nginxairflownginx-reverse-proxynginx-config

解决方案

事实证明，答案比我预期的更直接。

代理 2 需要一些额外的配置才能在代理通道中传递 URL 查询。

proxy_pass http://$1-<redacted hostname>:8080/airflow-$1/$2$is_args$args;

参考：如何使用 nginx 通过 proxy_pass 转发查询字符串参数？

推荐阅读