google-kubernetes-engine - Cloud Composer 将结构化日志记录到 Stackdriver
问题描述
我想知道将结构化日志记录发送到 Stackdriver 的合适方法对于 Cloud Composer 部署是什么。我已经查看了用于 python 调用插件或 DAG 的google-cloud-logging模块,但看起来这适用于尚未部署日志记录的项目。
我已按照本指南将我的记录器的输出修改为 stdin / stderr 为 json 格式,输出类似于:{"message": "test error", "severity": "ERROR"}
但是,在检查 Stackdriver 日志时,它不会被解析为 JSON,而是按原样放置在消息正文中。
下面是它在 Stackdriver UI 中的样子(我用泛型替换了敏感信息。消息字符串中 json 后面的新行是它在 Stackdriver 控制台中的样子)。
{
insertId: "xxxxxxxxx"
jsonPayload: {
message: "{"message": "This is WARN TEST", "severity": "WARNING"}
"
python_logger: "airflow.processor"
}
logName: "projects/project_name/logs/airflow-scheduler"
receiveTimestamp: "2000-01-01T00:00:0.0000000Z"
resource: {
labels: {
environment_name: "ariflow-environment-name"
location: "us-location2"
project_id: "project_name"
}
type: "cloud_composer_environment"
}
severity: "INFO"
timestamp: "2000-01-01T00:00:0.0000000Z"
}
有没有人使用上述或其他方法成功地将结构化日志从 Composer 发送到 Stackdriver?
解决方案
调用 log_struct 时,client.logger() 对象返回的文档和 400 错误让我大吃一惊。这意味着传入的 LOG_NAME 变量client.logger(LOG_NAME)
的格式为'/projects/[your-project-id]/logs/[log-id]'
(例如,我收到的输入错误'/projects/my-project/logs/airflow-worker'
是400 Received unexpected value: airflow-worker. Expected the form projects/[PROJECT_ID]/logs/[ID]
)。
在 Composer 环境中,调用它的正确方法是:
from google.cloud import logging
LOG_NAME = 'airflow-worker' # or 'airflow-scheduler' etc.
logger = client.logger(LOG_NAME)
logger.log_struct({
'message': 'message text to appear in StackDriver',
'custom_key': 'value_pair'
},
severity='ERROR')
希望这可以节省其他人一些时间。
推荐阅读
- java - Java SimpleDateFormat 未检测到月份
- node.js - 使用 MERN 堆栈构建相对路径的最合适方法是什么?
- java - 字段 'user_id' 没有默认值,但设置为 auto_increment
- node.js - Expressjs中使用passport-google-token刷新令牌
- python - 如何使用循环 Pandas 向列添加值
- c# - 字符串中的字符索引错误
- nginx - 如何让 NGINX 反向代理和应用程序
- python - PySide2 Qt 与系统中的其他 Qt 发生冲突?
- css - 显示两个符合 React 的 div
- google-cloud-platform - 如何在 2 个项目之间移动 Google Cloud DNS 条目?