时间戳

首页 > 解决方案 > Airflow 的 Gunicorn 正在发送错误日志

gunicorn - Airflow 的 Gunicorn 正在发送错误日志

问题描述

我正在使用 Apache Airflow 并认识到 gunicorn-error.log 的大小在 5 个月内增长了 50 GB 以上。大多数日志消息是 INFO 级别的日志，例如：

[2018-05-14 17:31:39 +0000] [29595] [INFO] 处理信号：ttou
[2018-05-14 17:32:37 +0000] [2359] [INFO] 工人退出（pid：2359 )
[2018-05-14 17:33:07 +0000] [29595] [INFO] 处理信号：
ttin [2018-05-14 17:33:07 +0000] [5758] [INFO] 使用 pid 引导工作人员：
5758 [2018-05-14 17:33:10 +0000] [29595] [INFO] 处理信号：ttou [2018-05-14 17:33:41 +0000] [2994] [INFO] 工人退出（pid： 2994)
[2018-05-14 17:34:11 +0000] [29595] [INFO] 处理信号：
ttin [2018-05-14 17:34:11 +0000] [6400] [INFO] 使用 pid 引导工作人员：6400 [2018-05-14 17:34:13 +0000] [29595] [INFO] 处理信号：ttou
[2018-05-14 17:34:36 +0000] [3611] [INFO] 工人退出（pid : 3611)

在 Airflow 配置文件中，我只能设置日志文件路径。有谁知道如何gunicorn在 Airflow 中将日志记录更改为另一个级别？我不需要这种细粒度的日志记录级别，因为它会溢出我的硬盘驱动器。

标签： gunicornairflow

解决方案

我设法通过设置环境变量来解决问题：

GUNICORN_CMD_ARGS="--log-level WARNING"

如果在docker-compose.yml文件中设置此项，则使用 apache-airflow==1.10.6 和 gunicorn==19.9.0 测试以下内容：

environment:
    - 'GUNICORN_CMD_ARGS=--log-level WARNING'

如果在 a 中设置此项Dockerfile，则使用 apache-airflow==1.10.6 和 gunicorn==19.9.0 测试以下内容：

ENV GUNICORN_CMD_ARGS --log-level WARNING

推荐阅读