apache-kafka - 可以在 Kafka Streams 中进行自我加入吗？

Question

我们将 Kafka Streams 视为解决飞行中比较的一种方式。具体来说，我们有数据以每秒约 15,000 个事务的顺序到达 Kafka 主题，我们希望在记录滚动时对它们进行比较操作。记录非常宽（1900 列左右），但比较操作发生在极少数列（~10-20）上。我们的比较窗口大约是一分钟。

场景将是这样的：

• 消息 1 在 00 秒到达时带有 foo、bar、foobar、barfoo、12、34 的值
• 消息 2 在 05 秒到达时带有 foo、bat、barbat、batbar、12、57 的值
• 消息 3 在 10 秒时到达，其值为 foo、bay、barbat、baybat、14、19
• 消息 4 在 15 秒时到达 foo, bar, foobar, barfoo, 12, 50
• 消息 5 在 40 秒时到达，其值为 bar、bat、barbat、batbar、14、18
• 消息 6 在 59 秒时到达，其值为 foo、bar、foobar、barfoo、12、36

我们希望能够读取流，确定消息 1、4 和 6 都符合我们的比较标准，然后丢弃消息 1 和 6，同时保留消息 4。

我在 2016 年 11 月发现 Gouzhang Wang 的评论建议通过处理器 API 实现这一点。这仍然是当前最好的方法吗？

标签： apache-kafkaapache-kafka-streams