elasticsearch - Fluent-bit - 将 json 日志拆分为 Elasticsearch 中的结构化字段
问题描述
我正在尝试在 Fluent-bit 配置中找到一种方法来告诉/强制 ES 以结构化方式存储纯 json 格式的日志(下面的日志位来自 docker stdout/stderror) - 请参阅底部的图像以获得更好的解释。例如,除了(或同时)将日志存储为log
字段下的普通 json 条目之外,我还想单独存储每个属性,如红色所示。
过滤器和解析器的文档真的很差而且不清楚。最重要的是,forward
输入没有“解析器”选项。我尝试json/docker/regex
了解析器,但没有运气。如果我必须使用正则表达式,我的正则表达式就在这里。目前使用 ES (7.1)、Fluent-bit (1.1.3) 和 Kibana (7.1) - 而不是 Kubernetes。
如果有人可以指导我举一个例子或举一个例子,我将不胜感激。
谢谢
{
"_index": "hello",
"_type": "logs",
"_id": "T631e2sBChSKEuJw-HO4",
"_version": 1,
"_score": null,
"_source": {
"@timestamp": "2019-06-21T21:34:02.000Z",
"tag": "php",
"container_id": "53154cf4d4e8d7ecf31bdb6bc4a25fdf2f37156edc6b859ba0ddfa9c0ab1715b",
"container_name": "/hello_php_1",
"source": "stderr",
"log": "{\"time_local\":\"2019-06-21T21:34:02+0000\",\"client_ip\":\"-\",\"remote_addr\":\"192.168.192.3\",\"remote_user\":\"\",\"request\":\"GET / HTTP/1.1\",\"status\":\"200\",\"body_bytes_sent\":\"0\",\"request_time\":\"0.001\",\"http_referrer\":\"-\",\"http_user_agent\":\"curl/7.38.0\",\"request_id\":\"91835d61520d289952b7e9b8f658e64f\"}"
},
"fields": {
"@timestamp": [
"2019-06-21T21:34:02.000Z"
]
},
"sort": [
1561152842000
]
}
谢谢
会议
[SERVICE]
Flush 5
Daemon Off
Log_Level debug
Parsers_File parsers.conf
[INPUT]
Name forward
Listen 0.0.0.0
Port 24224
[OUTPUT]
Name es
Match hello_*
Host elasticsearch
Port 9200
Index hello
Type logs
Include_Tag_Key On
Tag_Key tag
解决方案
解决方法如下。
[SERVICE]
Flush 5
Daemon Off
Log_Level debug
Parsers_File parsers.conf
[INPUT]
Name forward
storage.type filesystem
Listen my_fluent_bit_service
Port 24224
[FILTER]
Name parser
Parser docker
Match hello_*
Key_Name log
Reserve_Data On
Preserve_Key On
[OUTPUT]
Name es
Host my_elasticsearch_service
Port 9200
Match hello_*
Index hello
Type logs
Include_Tag_Key On
Tag_Key tag
[PARSER]
Name docker
Format json
Time_Key time
Time_Format %Y-%m-%dT%H:%M:%S.%L
Time_Keep On
# Command | Decoder | Field | Optional Action
# =============|==================|=================
Decode_Field_As escaped_utf8 log do_next
Decode_Field_As json log
推荐阅读
- powershell - 长powershell命令的自动屏幕捕获(不是文本输出)
- java - 在我的Java程序中,为什么我绑定到0.0.0.0时会涉及IP6?
- python - 根据另一列对一列进行分箱并交叉制表
- sql-server - 如何在 SERVER 上安装 SSIS/SSDT 自定义任务
- c++ - 如何编写带有“自动”字推导类型的参数的函数?
- jquery - 将jquery变成R中的可用字符串
- python - Python numpy 乘法字符串
- reactjs - 过滤列表 React-Admin 中的 OnTextChange 操作如何更改为 OnSubmit
- go - 通过堆栈管理和提供 html/模板数据绑定
- python - 按行查找最大值并相应显示其列名