apache-kafka - 为一个分区重置的消费者组的偏移量

Question

在 Kafka 的最后一次维护期间，需要滚动重启 kafka 代理，我们目睹了某些分区的消费者组偏移量的重置。

上午 11 点 14 分，消费者群体一切正常，我们没有看到消费者滞后：

TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 0          105130857       105130857       0          st-...
...
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 6          78591770        78591770        0          st-...

然而 5 分钟后，在代理的滚动重启期间，我们有一个分区的重置和数百万个事件的消费者延迟。

$ bin/kafka-consumer-groups --bootstrap-server XXX:9093,XXX...  --command-config secrets.config  --group st-xx --describe
Note: This will not show information about old Zookeeper-based consumers.

[2019-08-26 12:44:13,539] WARN Connection to node -5 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2019-08-26 12:44:13,707] WARN [Consumer clientId=consumer-1, groupId=st-xx] Connection to node -5 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
Consumer group 'st-xx' has no active members.

TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 0          105132096       105132275       179            
...
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 6          15239401        78593165        63353764   ...

在过去的两个小时内，分区的偏移量尚未恢复，我们现在需要手动修补它。在经纪人的最后一次滚动重启期间，我们遇到了类似的问题。

有没有人见过这样的东西？我们能找到的唯一线索是这张票，但是我们运行的是 Kafka 版本：1.0.1-kafka3.1.0，

标签： apache-kafka