时间戳

首页 > 解决方案 > 如何从头到尾消费消息到特定的偏移量

go - 如何从头到尾消费消息到特定的偏移量

问题描述

我有kafka中给定主题的分区号和偏移量之间的映射。我想使用 golang 从一开始就使用所有消息到那些特定的分区/偏移映射。简而言之，我想知道是否可以在 kafka 中从头到尾使用消息到特定的偏移量。

我想知道是否有内置工具或库可以帮助我在开始实现某些东西之前做。

标签： goapache-kafkaconfluent-platformsarama

解决方案

我将其发布为答案，因为我 99.9% 的人相信这是正确的——您不能在消费者上指定结束偏移量。消费者 API 支持 OOTB：

  1. 从头开始。
  2. 从任意位置开始。
  3. 从最后开始。

请注意，没有指定范围的选项，但您可以自己轻松地做到这一点：只需从头开始，当您阅读了所需的任意数量的消息（例如，您的最终偏移量）时停止。

请参阅官方 APIControlling Consumer Position中的部分

推荐阅读