apache-kafka - Kafka 实时流与微服务

Question

选择 Kafka 进行实时流传输是否需要以 gbps 为单位的最低消息速率？

我们可以在 Kafka 中处理非常低的消息率吗？

标签： apache-kafkakafka-consumer-apikafka-producer-api

Answer 1

我的源每天大约产生 4000 到 5000 条消息，而 Kafka 能够以高吞吐量处理大量数据，它是否能够处理如此低的数据量并且消息率也会很低？

是的。“是”不仅适用于 Kafka “核心”（经纪人 = 存储、发布/订阅），而且适用于：

• Kafka 生产者和消费者客户端（分别写入消息和读取消息）
• Kafka Connect（用于将 Kafka 与 MySQL、Elastisearch、S3 等其他系统集成）
• Kafka Streams（用于在 Java/Scala 中编写处理应用程序）
• KSQL（用于在流式 SQL 中编写处理应用程序）