groovy - Kafka消费者——统计从头到尾的偏移量

Question

我能够通过使用消费参数（最早）来获取特定 Kafka 主题的从头到尾的数据形式。响应：偏移量 180，味精 abc.... . 偏移量 12000 ，味精 klp...

我想计算从特定偏移量到最新偏移量的计数，以了解插入了多少新消息。kafka 消费者是否有这样的参数可以使用，或者我需要为此获取 groovy 代码？

场景将是：开始使用 kafka 主题，偏移量可能是 180-12000 post 100 msgs to kafka topic。现在的偏移量是 180-12099，由于某种原因 1 条消息未能发布。我需要一个代码来确保总数为 100，如果 99 则失败。

标签： groovyapache-kafkakafka-consumer-apikafka-rest

Answer 1

与其检查是否存在正确数量的偏移量，不如检查生产者对您发送的消息的返回代码。当消息被 kafka 代理确认时，大多数 kafka 生产者会返回消息的偏移量。