时间戳

首页 > 解决方案 > Kafka 是否提供 Producer 级别的偏移量？

apache-kafka - Kafka 是否提供 Producer 级别的偏移量？

问题描述

假设，我有多个 Kafka 生产者同时为单个 Kafka 主题生成数据。

是否可以获得给定生产者产生的最后一个偏移量？

例如 ：

生产商：P1 , P2

主题：T1一个分区Partition-0

P1发表了 100 条记录，P2 发表了 150 条记录。

我想分别找出 P1 和 P2 发布的最后一条记录的偏移量。

请注意，我不是要求全局主题分区偏移量。

标签： apache-kafkaoffsetkafka-producer-apiproducer

解决方案

卡夫卡经纪人不跟踪这些信息。

只有生产者拥有这些信息，但它甚至不是他们内置指标的一部分。如果您想跟踪每个生产者的最后一个偏移量，您需要自己在每个生产者实例中创建一个指标。

例如，您可以简单地检索由返回的对象中的偏移量并将其公开为指标。RecordMetadatasend()

推荐阅读