首页 > 解决方案 > 如何从数据流作业中发送和过滤结构化日志

问题描述

目标是存储来自不同应用程序/作业的审计日志,并能够通过一些 id 聚合它们。我们为此选择了 BigQuery,因此我们需要从日志中获取结构化信息到 BigQuery。

我们成功地使用部署在 kubernetes 引擎中的应用程序,将输出日志作为 json 字符串记录到标准输出,并对其进行解析,结构可以在 stackdriver 中看到为jsonPayload. 我们取自本教程

但是,当我在数据流作业中使用相同的日志附加程序时,它不会被视为结构化消息,而是被视为jsonPayload.message字段中的字符串。

我需要两件事的结构:

实现这一目标的最简单方法是什么?

标签: google-cloud-dataflowlogbackapache-beamgoogle-cloud-stackdriver

解决方案


推荐阅读