elasticsearch - 可视化和分析来自 Kafka 的数据

Question

我正在使用基本的 Kafka-Logstash 设置将许多不同的应用程序与后端同步。我对它的工作原理有一个非常基本的了解。目前我正在研究分析 Kafka 处理的数据。我想使用 Kafka Connect 在 Kibana 板上获取所有内容，但我非常不确定如何解决这个问题。

我发现这个资源说以下内容：

虽然 Kafka Connect 是 Apache Kafka 本身的一部分，但如果您想将数据从 Kafka 流式传输到 Elasticsearch，您将需要 Confluent 平台。

我的问题是：

1. 我必须使用 Confluent 来实现吗？

2. 我应该使用 Confluent 来实现吗？

我还研究了其他工具，例如Prometheus，但据我所知，实现类似 Kibana 的可视化并不容易。但是，如果我错了，请教育我！

标签： elasticsearchapache-kafkalogstashkibanaconfluent-platform

Answer 1

我使用了 Logstash（通过 tcp 输入插件使用 JSON 数据）和 Confluent 的 Kafka Connect Elastic 连接器（使用 Avro 数据），两者都只使用常规 Apache Kafka。所以，做你的答案，不。配置 Kafka Connect 将需要更多时间，因为您必须构建源代码，当然，您也应该如此，因为归根结底它仍然是同一个 Apache Kafka。

两者都可以与 Kibana 一起使用，但这当然很大程度上取决于您在 Elasticsearch 中管理索引模式的方式以及您正在摄取的数据。

如果您对设置 Elasticsearch 索引和类型映射一无所知，我个人认为 Logstash 会更简单一些，因为 Logstash 的 Elasticsearch 输出插件“可以正常工作”。我不记得我是否使用过 Kafka 输入插件，但我想它的工作方式与任何其他输入类似，但如果您的生产者有一些非标准序列化（例如，一些人们将 Protobuf 数据放入 Kafka）

我更多地看到 Prometheus/Grafana 用于指标，而不是可视化。