时间戳

首页 > 解决方案 > filebeat 可以将一个数据传输到logstash 和kafak 吗？

apache-kafka - filebeat 可以将一个数据传输到logstash 和kafak 吗？

问题描述

我想用filebeat发送一个日志到logstash和kafak，然后logstash发送日志到es，我可以在es中搜索，kafak用它来分析数据。

文件节拍.yml

output.logstash:
  hosts: ["172.31.29.xxx:5044"]
output.kafka:
    enabled: true
    hosts: ["xxx"]
    topic: "test-log"

不行啊，有什么办法吗？

标签： apache-kafkalogstashfilebeat

解决方案

你不能，filebeat 只支持一个输出。

你有两种方法可以做你想做的事。

  1. 仅将您的日志发送到 Kafka 并配置 logstash 以读取该 Kafka 主题，然后发送到 elasticsearch。
  2. 将您的日志发送到 logstash，并将 logstash 输出到 Kafka 和 elasticsearch。

使用第一个选项，您将在 Kafka 中获取原始事件并使用 logstash 从中读取并在需要时应用一些过滤器，使用第二个选项，如果您想应用一些过滤器并仍然发送原始事件，则需要克隆每个事件卡夫卡的事件。

推荐阅读