首页 > 解决方案 > 卡夫卡消费者:最大消费率

问题描述

我有兴趣学习/推断我的消费组中 Kafka 消费者的最大消费率最大消费率是消费者跟不上消息到达率的速度,因此消费者会越来越落后,消息延迟会累积。

在消费者方面,我可以将最大消费率计算为 1/(消息等待时间),其中消息等待时间是从代理中拉出消息并由消费者在轮询循环中处理它所需的时间。

该策略是否会返回消费者最大消费率的准确度量?关于使用消费者 API 计算最大消耗率的任何其他建议?

另一方面,假设我有一个带有 Kafka 管理客户端 API 的控制器进程,下面的逻辑是否会准确地返回最大消耗率(任何未见的边界情况)。在逻辑中,At 和 Rt 是时间 t 的到达率和消费率,而时间 t-1 的 At-1 和 Rt-1

if (At > At-1 && Rt = Rt-1) then Rt is the maximum consumption rate.

关于使用管理客户端 API 而不是消费者 API 计算最大消耗率的任何建议?

谢谢你。

标签: apache-kafkamessage-queuekafka-consumer-apikafka-producer-api

解决方案


推荐阅读