python - 消费者可以从存储特定键值数据的分区中读取记录吗？

Question

我没有创建许多主题，而是为每个消费者创建一个分区并使用一个键存储数据。那么有没有办法让消费者组中的消费者从存储特定键数据的分区中读取。如果是这样，您能否建议如何使用 kafka-python （或任何其他库）来完成它。

标签： pythonapache-kafkakafka-consumer-apikafka-python

Answer 1

您可以使用“分配”逻辑（例如，它由 Kafka 消费者 Java 客户端提供），而不是使用订阅和相关的消费者组逻辑。虽然订阅主题并成为消费者组的一部分，但分区会自动分配给消费者并在新消费者加入或离开时重新平衡，使用分配是不同的。使用assign，消费者要求被分配到一个特定的分区。它不属于任何消费者群体。这也意味着如果消费者死亡，您将负责处理重新平衡：例如，如果消费者 1 被分配了分区 1，但在某些时候它崩溃了，则分区 1 不会自动重新分配给另一个消费者。它'