apache-kafka - 向同一消费者组内的所有订阅者广播消息

Question

使用 apache-Kafka 版本 2.11-2.4.0。

我正在创建一个应用程序，我想将事件发布给同一消费者组中的所有订阅者（消费者）。但在很多地方，我发现 Kafka 向消费者组广播消息。有什么办法可以做到这一点？

标签： apache-kafka

Answer 1

在 Kafka 中，消费者组只是为了横向扩展。例如，如果您在同一个消费者组中有 5 个消费者并订阅了一个具有 5 个分区的主题，那么 Kafka 会将每个分区分配给该组中的一个消费者。因此消息被消费者并行消费。

在您的情况下，如果您想使用来自多个消费者的相同消息，那么您需要有多个订阅同一主题的消费者组。您可以通过group.id为您的消费者设置不同来实现这一点。

注意：作为一个好习惯，消费者组中的消费者数量应该与订阅的主题的分区数量相同。