logging - 如何将 GCS 审计日志发送到 logstash？

Question

我对GCS很陌生。请帮助我提取完整的审计日志并将其发送到logstash，以便我可以解析它并将其发送到elasticsearch。

标签： logginggoogle-cloud-platformlogstash

Answer 1

查看文档Cloud Audit Logs部分Exporting audit logs：

要在 Logging 之外导出审计日志条目，请创建日志接收器。给接收器一个查询，指定要导出的审计日志类型；有关查询示例，请转到安全日志记录查询。

如果您要导出 Google Cloud 组织、文件夹或结算帐号的审核日志条目，请查看Aggregated sinks。

然后转到日志导出概述部分：

所有日志（包括审核日志、平台日志和用户日志）都会发送到 Cloud Logging API，并在此处通过日志路由器。日志路由器根据现有规则检查每个日志条目，以确定要摄取（存储）哪些日志条目、要在导出中包含哪些日志条目以及要丢弃哪些日志条目。有关更多详细信息，请参阅日志路由器概述。

导出涉及编写查询以选择要导出的日志条目，并在 Cloud Storage、BigQuery 或 Pub/Sub 中选择目标。查询和目的地保存在一个名为 sink的对象中。可以在 Google Cloud 项目、组织、文件夹和结算帐号中创建接收器。

和

每次日志条目到达项目、文件夹、计费帐户或组织资源时，Logging 都会将该日志条目与该资源中的接收器进行比较。查询与日志条目匹配的每个接收器都会将日志条目的副本写入接收器的导出目标。

之后，按照场景中的说明导出 Cloud Logging：Elasticsearch：

此场景展示了如何将选定的日志从 Logging 导出到 Elasticsearch 集群。

（可以从 Marketplace 安装 Elasticsearch 集群）

作为替代方案，您可以按照社区教程将 Stackdriver 日志导出到 Elastic Cloud：

本教程介绍如何将 Stackdriver 日志导出到Elastic Cloud Elasticsearch SaaS 平台以执行日志分析。Elastic Cloud 是一种 SaaS 产品，无需构建和管理 Elasticsearch 基础架构，从而节省时间。