python - 从多个主题读取的python Kafka消费者的低速率

Question

我们有一个 python 消费者组，有 50 个消费者，他们从 10 个主题中消费，每个主题有 10 个分区。消费者组订阅所有主题，其中一些主题的吞吐量较低。我们的速率很低（300 msg/sec），但是当我们只为一个主题发送消息，而所有其他主题都是空的时，我们得到了更高的速率。你有什么主意吗？

标签： pythonapache-kafkakafka-consumer-api

Answer 1

您可以通过选择正确的消息传递保证来调整 Kafka 性能：最多一次、至少一次或恰好一次。提供有关您正在使用的交付保证以及消费者订阅的主题/分区数量以及每个主题的复制因子的更多详细信息。