时间戳

首页 > 解决方案 > Kafka生产者配额和超时异常

apache-kafka - Kafka生产者配额和超时异常

问题描述

我正在尝试提出一种配置，该配置将根据生产者的平均字节率强制设置生产者配额。我用 3 节点集群进行了测试。然而，该主题是使用 1 个分区和 1 个复制因子创建的，因此只能为 1 个代理（领导代理）测量 producer_byte_rate。

我在客户端 ID test_producer_quota 上将 producer_byte_rate 设置为 20480。

我使用 kafka-producer-perf-test 来测试吞吐量和油门。

kafka-producer-perf-test --producer-props bootstrap.servers=SSL://kafka-broker1:6667 \
client.id=test_producer_quota \
--topic quota_test \
--producer.config /myfolder/client.properties \
--record.size 2048  --num-records 4000 --throughput -1

我希望生产者客户端了解限制并最终消除发送到代理的请求。相反，我注意到在超过 30 秒的时间内交替出现 98 记录/秒和 21 记录/秒的吞吐量。在此期间，平均延迟缓慢地保持增加，最后当它达到 120000 毫秒时，我开始看到超时异常，如下所示

org.apache.kafka.common.errors.TimeoutException ：quota_test-0 的 7 条记录到期：自批处理创建以来已过去 120000 毫秒。

什么可能导致这个问题？

  1. 生产者在延迟达到 120 秒时超时（delivery.timeout.ms 的默认值）
  2. 为什么生产者不了解油门和配额并减慢或退出其他生产者配置可以帮助缓解此超时问题吗？

标签： apache-kafkakafka-producer-api

解决方案

(2048 * 4000) / 20480 = 400 (sec)

这意味着，如果您的生产者尝试全速发送 4000 条记录（因为您将吞吐量设置-1为你的 CPU）。

然后，由于您的配额设置 ( 20480)，您可以确保代理不会在至少 399 或 398 秒之前“完成”这 4000 条记录的处理。

The broker does not return an error when a client exceeds its quota, but instead attempts to slow the client down. The broker computes the amount of delay needed to bring a client under its quota and delays the response for that amount of time.

你request.timeout.ms被设置为120 seconds，然后你有这个 timeoutException。

推荐阅读