apache-kafka - 如果我增加'num.replica.fetchers'，它会增加我的整体吞吐量吗？

Question

我正在创建一个复制因子为 3 的主题，将 min.insync.replicas 设置为 2，并使用“all”的acks 生成并尝试运行一些测试以查看性能。

在阅读了一些关于 kafka 性能的文章后，我观察到将复制因子设置为 3，将 min.insync.replicas 设置为 2，并使用“全部”的 acks 进行生产与 acks 1 相比会降低吞吐量。现在我试图理解如果我增加“num.replica.fetchers”，是否有助于增加吞吐量？

标签： apache-kafka

Answer 1

实际上，增加 fetcher 的数量可能有助于提高吞吐量，因为消费者只读取完全确认的消息。但似乎有一个最佳的获取器数量需要确定，这可能取决于您的特定场景和其他设置。看看这个（第 4 节）：https ://www.instaclustr.com/the-power-of-kafka-partitions-how-to-get-the-most-out-of-your-kafka-cluster/