apache-kafka - 在 KTable 的插入/更新时重新处理丰富的 kstream 数据

Question

这是我尝试使用 Kafka Streams 实现的假设但类似的场景。

我有流数据、销售数据，我想通过不经常更改的查找数据来丰富这些数据，比如用户和项目，我计划为其创建 KTable。我计划将这些丰富的数据推送到主题并使用连接接收器推送到搜索引擎。

如何确保用户/项目数据的更新也触发对过去销售数据的丰富，而不仅仅是在流中摄取的新数据。据我了解，KTable 插入/更新不会触发对流的过去数据的任何重新处理。

我相信这可能是一个常见的用例，至少我可能不是第一个有这种需求的人。有关解决方案或解决方法的任何指导吗？

标签： apache-kafkaapache-kafka-streamsktable

Answer 1

如果要更新旧数据，则意味着您要进行表-表连接。但请注意，对于这种情况，两个输入的所有数据都需要保存在应用程序中。