首页 > 解决方案 > confluent kafka - 速率限制

问题描述

速率限制:由于 Kafka 能够以比 MQ 消耗的速率高得多的速率生成消息,我们可以对 kafka 消费者进行一些配置设置以启用速率限制传输以保护 MQ 的稳定性吗?

还有 Exactly-Once Semantic - 了解 kafka 支持完全一次语义,这将停止重新传输已经被消费者消费的消息。有人可以指导我如何设置此配置吗?

我们在我们的组织中使用融合 kafka 企业版。

标签: apache-kafkaconfluent-platform

解决方案


速率限制: Kafka 是基于拉取的,因此您的消费者可以自行读取消息并将它们传输到 MQ(但如果第二个系统不断变慢,Kafka 中未处理消息的缓冲区会随着时间的推移而增加)。

精确一次语义:为了确保消费者的语义精确一次,您需要在消息成功处理后手动提交读取偏移量(默认行为是在小超时后自动提交读取偏移量。如果失败,可能会导致消息丢失在提交读取偏移之后但在消息处理结束之前发生)


推荐阅读