apache-kafka - 如果整个集群出现故障，Kafka 中的消费者组会发生什么？

Question

我们有一个消费者服务，它总是尝试使用消费者组从主题中读取数据。由于重新部署，我们的 Kafka 集群会定期关闭并重新创建。

每当集群再次返回时，我们观察到虽然之前的主题被拾取（可能来自 Zookeeper），但之前的消费者组并没有被创建。正因为如此，我们使用前一个消费者组创建的正在运行的消费者进程被卡住并且永远不会出现。

这是消费者群体的行为应该是这样，还是我们需要在某处启用配置？

任何帮助是极大的赞赏。

标签： apache-kafkakafka-consumer-apiapache-kafka-connect

Answer 1

Kafka Brokers 保留健康消费者和消费者组的缓存，如果整个集群被销毁/重新创建，它不再了解这些消费者和组，包括偏移量。消费者将不得不从主题开始重新连接并重新建立组和偏移量。

在操作上，保持 Kafka 集群长期运行更有意义，并以滚动方式进行版本升级，这样您就不会中断服务。