logstash - 从日志路径解析的字段未添加到 logstash
问题描述
我正在使用 logstash 解析多个日志文件 - 并希望根据文件路径将字段添加到我的输出中。以下是配置文件的相关部分:
input {
file {
path => "/mnt/logs/**/console-20200108*.log"
type => "tomcat"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
if [type] == "tomcat" {
grok {
patterns_dir => "/usr/share/logstash/patterns"
match => {
"message" => [ "%{TOMCAT_LOG_1}", "%{TOMCAT_LOG_2}" ]
"path" => "\/mnt\/logs\/%{DATA:site}\/%{DATA:version}\/node%{NUMBER:node}\/store\/tomcat\/%{DATA:file}\.log"
}
}
}
}
这是一个示例输出:
{
"level" => "INFO",
"type" => "tomcat",
"data" => "Finished indexer cronjob.\r",
"timestamp" => "08-Jan-2020 11:00:05.860",
"qualifier1" => "[update-backofficeIndex-CronJob::ServicelayerJob]",
"@timestamp" => 2020-01-08T11:04:47.364Z,
"path" => "/mnt/logs/protec/qa/node1/store/tomcat/console-20200108.log",
"qualifier3" => "[SolrIndexerJob]",
"host" => "elk",
"@version" => "1",
"message" => "INFO | jvm 1 | srvmain | 08-Jan-2020 11:00:05.860 INFO [update-backofficeIndex-CronJob::ServicelayerJob] (update-backofficeIndex-CronJob) [SolrIndexerJob] Finished indexer cronjob.\r",
"qualifier2" => "(update-backofficeIndex-CronJob)"
}
基于此,我期望从解析消息中获取相关字段,并从解析路径中获取更多字段。然而,我没有添加任何来自“路径”解析的字段。
我错过了什么?如何添加site
、version
和node
字段file
?
解决方案
从解决问题的评论中创建答案(因此是社区 wiki)。
显然它可能来自break_on_match option
默认为 true 的 。从文档:
grok 的第一次成功匹配将导致过滤器完成。所以如果
%{TOMCAT_LOG_1}
或%{TOMCAT_LOG_2}
匹配,它不会尝试匹配路径字段
推荐阅读
- .net - 无法突出显示组合框中的文本
- webpack - 如何从构建中删除 Webpack 代码?
- angular - 添加新项目时更新列表
- javascript - 为什么元素上的 load()、on()、bind() 等不可用
- python-3.x - 在 s3 中读取镶木地板文件时,Dask 数据帧抛出错误
- haskell - 为什么 Haskell 不允许更复杂的中缀表达式?
- javascript - setInterval() 不适用于制作数字时钟
- machine-learning - 对非语言概念使用嵌入?
- android - 将意图从活动发送到片段
- javascript - 不确定我是否有语法错误或代码错误