go - 阅读来自 kafka 的最新消息-segmentio/kafka-go
问题描述
我正在使用 segmentio/kafka-go 客户端从主题中读取消息。我找不到..如何从上一条/新消息开始阅读。
每次我启动代码时,它都会从该分区中的起始偏移量开始读取。
解决方案
关于消费来自 Kafka 的消息,您需要了解的是每个消费者客户端都是Consumer Group的一部分。Kafka 将每个消费者组的已处理偏移量存储在名为 的内部 Kafka 主题中的主题分区级别__consumer_offsets
。这使消费者组的消费者能够在重新开始后从中断的地方继续消费。
在您的情况下,这意味着您需要设置消费者组(在KafkaConsumer API中,它是配置“group.id”)并保持不变。只有这样,您才能继续阅读最新/最新的 est 消息,而不是在重新开始后从头开始。
推荐阅读
- c++ - C++ 代码中奇怪的未使用的静态字符串声明
- javascript - 如何在 Unity 中使用 Admob 正确奖励玩家?
- c++ - Clang ++ 6.0 Memory Sanitizer 未在返回值指示条件分支的函数中报告未初始化的局部变量
- python - 8 位校验和减一
- c# - 使用查询c#从数据库中获取参数
- node.js - 没有 nodejs 无法确定 jupyterlab 构建状态
- android - 在 FragmentStatePagerAdapter 上设置 ItemClickListener
- javascript - 反应js如何从内容的子链接打开新页面而不显示上一页
- r - R 错误(从 NA 到 0):数据框中列的重复下标
- android - 如何显示安装的应用程序可以在用户单击时下载文件