apache-kafka - 单个消费者可以从 kafka 主题的多个分区中读取吗？

Question

有一个kafka topic有16个partition

使用给定的消费者组名称，我们目前正在启动单个消费者来读取主题。

---

1. 单个消费者是否partition 0（仅）阅读该主题的内容？如果partition 0消息为空，消费者是否开始从下一个分区（partiton 1...等等）读取？

2. 我们可以选择启动多个消费者（具有相同的消费者组名称）以从同一主题（具有 16 个分区）中读取。可以维护多少消费者，以并行读取多个分区？

标签： apache-kafkakafka-topic

Answer 1

你有一个包含 16 个分区的主题

使用给定的消费者组名称，您当前正在启动单个消费者以从主题中读取此单个消费者将从所有分区中读取。

由于您可以启动多个消费者（在同一消费者组内）。

对于 16 个分区，您应该有最多 16 个消费者监听每个分区。在消费者组中的 Kafka 中，每个分区最多可以有 1 个消费者。