apache-kafka - Kafka broker 支持多少个分区

Question

Kafka 代理可以支持的 Kafka 分区的限制是多少？如果没有限制，每个 Broker 有多少个分区才能让我的集群转得又快又好？

标签： apache-kafka

Answer 1

在最近的博客中，每个集群有 200K+ 个分区，但这当然很大程度上取决于您运行的实际硬件，以及在此之前您对 Kafka 的维护程度。例如，我怀疑 Raspberry Pi 是否能够处理这么多负载。

每个代理并没有严格的限制，但旧的经验法则是每个代理平均少于 1000 个分区将保持集群以最佳状态工作

那个博客说 4000 现在是个好数字

根据经验，我们建议每个代理最多有 4,000 个分区，每个集群最多有 200,000 个分区