apache-kafka - 卡夫卡消息聚合
问题描述
我在 Kafka 主题中有消息,压缩如下
1::3$
2::4$
稍后,一些更多的值被添加到相同的键
1::64$
2::145$
我希望从上述消息中实现的愿望来自以下主题
1::3$,64$
2::4$,145$
任何建议如何将值组合到主题中的相同键
解决方案
您可以使用 kafka 流来做到这一点:
拓扑:
1. 源处理器:将输入主题读取为 KStream
2. 处理器 1: GroupbyKey() -> 产生 KGroupedTable,pre req. 聚合
3. 处理器 2: Aggregate() -> 生成一个 KTable,其中包含您需要的组合值。您可以将 KTable 物化为压缩主题。然后,您可以使用 kafka 消费者或交互式查询来阅读它。
推荐阅读
- flutter - 在 TabBarView 中颤动 PageView:滚动到页面末尾的下一个选项卡
- android - Dagger 2 组件未在 android studio 中生成
- stata - 如何使 x 轴标签出现在刻度之间
- shell - GItLab CI 给出 curl: (7) 无法连接到 localhost 端口 8090: Connection denied
- html - 如果我尝试从 css 文件上传图像,则图像不会出现在我的部分中,但是当我从 html 尝试时它可以工作
- javascript - 循环测试是一个好习惯吗?
- python - Ipython笔记本扩展未显示完整菜单
- c# - 如何发布字典列表
- kubernetes - RabbitMQ 通用服务器 rabbit_connection_tracking 终止
- excel - Sumif 或 Sumproduct 的标准不包含特定的十进制数