logstash - 多个 Logstash 节点上的 Logstash 聚合过滤器插件

我对使用logstash 聚合过滤器插件很感兴趣，但我想知道在我有多个 logstash 节点的情况下这将如何工作。

我还需要设置 - 将工作人员过滤为 1（ -w 1 标志） - 如果我不介意这些事件是不按顺序进行的吗？

更新

我的用例要求通过唯一的跟踪 ID 聚合多个服务生成的日志。我没有结束事件。而是使用 3 秒的设定窗口。

标签： logstash

为了使aggregate过滤器正常工作，您需要将带有您想要组合的信息的日志发送到同一个logstash 节点。

如果您使用像 Filebeat 或任何其他发送器，将事件发送到多个 logstash 节点，每个节点将只聚合它接收到的事件，您不能aggregate从不同的 logstash 节点发生事件。

还建议将workers设置为1，因为aggregate过滤器的主要用途是从属于相同唯一ID（任务ID，作业ID，流程ID）的事件中获取信息并丰富最终事件，如果您使用更多例如，如果超过 1 个工作人员，您的end事件可能会在您的start事件之前处理。