首页 > 技术文章 > 理解kafka消费者

fengzaoye 2020-07-21 14:50 原文

kafka消费者主要分:主题、分区、消费组、消费者
消费逻辑:
一个主题、4个分区、两个消费组(A、B),A组有4个消费者,B组有2个消费者
A组每个消费者分别能消费一个分区,而B组消费者分别能消费2个分区
加入A组加多一个消费者,则因为消费者数大于分区数,则代表有一个消费者没有可消费的分区数据
A和B是独立消费主题

消费模式:
1、点对点:一个主题对应一个消费组
2、发布/订阅: 一个主题对应多个消费组,多个消费组可独立消费数据

offset: 偏移量/位移
偏移量对应的是存储层面,位移对应的是消费层面。
kafka通过记录消费的位移记录从而达到持续性消费,旧的客户端把这些记录存储在zookeeper,新的客户端存储在kafka内部的主题__consumer_offsets中。
正因为有offset,我们才可以在客户端通过设置该参数达到自定义消费范围以及回溯消费。

 

参考:https://my.oschina.net/u/2346823/blog/4333558

推荐阅读