时间戳

首页 > 解决方案 > Logstash 重复事件

elasticsearch - Logstash 重复事件

问题描述

我有两个 Logstash 配置文件：test1.conf和test2.conf.
他们每个人都有自己的流量input -> filter -> ouput。

它们都具有相同的过滤器和elasticsearch输出写入相同的索引。

我的问题是 Logstash 正在将重复事件写入 ElasticSearch 索引，无论我选择测试哪个输入（每个事件都变成两个相同的事件而不是一个）。

我怎样才能解决这个问题？

标签： elasticsearchlogstashlogstash-configuration

解决方案

默认情况下，Logstash 有一个名为的管道main，它会自动检测conf.d文件夹中的所有.conf文件；此配置在pipelines.yml文件中设置： 

- pipeline.id: main
  path.config: "/etc/logstash/conf.d/*.conf"

如果你在一个管道下有多个.conf文件，Logstash 会将它们合并在一起，导致对所有输入执行所有过滤器和输出，因此在这种情况下，无论哪个输入接收事件，它都会经过两条路径过滤器/输出，导致重复写入 ElasticSearch（如果两个.conf文件的过滤器/输出相同，则会发生相同的事件）。

解决方案

1.将过滤器/输出移动到单独的文件中

如果您的过滤器/输出在配置文件中相同，请将过滤器/输出移动到单独的文件中。所以现在你有两个.conf文件，一个用于每个输入，第三个.conf文件用于过滤器/输出。使用此设置，每个输入将仅通过一个处理路径。

例如：

input1.conf 

input {
  # input 1
}

input2.conf 

input {
  # input 2
}

filter_output.conf 

filter {
  # common filter
}  

output {
  # common output
}

当应该选择此解决方案时， 您可以查看此答案以获取另一个示例。

请注意，如果过滤器/输出相同，但您仍希望将它们称为完全不同的处理路径，请继续阅读。

2.将.conf文件拆分到不同的管道

如果您需要每个.conf文件独立，请将.conf文件拆分到不同的管道。

为此，只需编辑pipelines.yml文件。
例如：

pipelines.yml 

- pipeline.id: test1
path.config: "/etc/logstash/conf.d/test1.conf"

- pipeline.id: test2
path.config: "/etc/logstash/conf.d/test2.conf"

阅读有关多管道的更多信息

3. 按类型分隔
用不同的类型标记每个输入，稍后使用 if 语句在过滤器/输出上检查它。

您可以在此答案中阅读更多相关信息。

推荐阅读