java - 订阅每个主题分区

Question

多次订阅给定 Kafka 主题并从每个分区接收每个KafkaConsumer.

我现在正在做的是生成一个随机 Uuid group.id，以便每个订阅都是一个新组，但鉴于这些订阅是短暂的（并且有很多订阅），Kafka 存储有关它们的元数据的开销可能是有害的。

实现这一目标的正确方法是什么？

标签： javaapache-kafka

Answer 1

我相信这个问题的答案是使用assign()方法而不是subscribe().

通过这种方法手动分配主题不使用消费者的组管理功能。

参考：https ://kafka.apache.org/26/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html