apache-kafka - 如果从副本节点消费，Kafka 的可扩展性

Question

在数据复制> 1的集群场景中，为什么我们必须始终从分区的主/领导消费，而不是能够从包含该主节点副本的副本/从节点消费？

我了解 Kafka 将始终将请求路由到（该特定分区/主题的）主节点，但这不会影响可伸缩性（因为所有请求都转到单个节点）？如果我们可以从包含副本信息的任何节点而不一定是主节点中读取会不会更好？

标签： apache-kafkahigh-availability

Answer 1

您可以从中写入/读取数据的分区领导副本均匀分布在可用的代理之间。无论如何，您可能还想利用“从最近的副本获取”功能，该功能在KIP-392中进行了描述，并且自 Kafka 2.4.0 起可用。