apache-kafka - 如何使用 Kafka Streams 处理无序的事件

Question

我有一个应用程序，其中基于用户登录、用户的中间操作（可选）和用户注销等用户操作在 Kafka 主题上发送事件。每个事件在事件对象中都有一些信息以及 userId ，例如登录事件有 loginTime；添加注释有注释（中间操作）。类似地，注销事件具有 logoutTime。要求是在收到每个用户的注销事件后将所有这些事件的信息聚合到一个对象中并将其发送到下游。

由于某些原因（网络延迟，多个事件生产者）事件可能没有按顺序出现（用户注销事件可能先于中间事件），那么问题是如何处理这种情况？收到用户注销事件后，我不能等待中间事件，因为中间事件是可选的，具体取决于用户的操作。

我在这里认为的唯一选择是在收到用户注销事件后等待一段时间，如果在该等待时间内收到处理中间事件并发送已处理的事件，但再次不确定如何实现这一点。

标签： apache-kafkaapache-kafka-streams

Answer 1

Kafka不保证订购topic，它保证订购partition. 一个主题可以有多个分区，因此每个消费主题的消费者都会消费一个分区。这就是 kafka 实现可扩展性的方式。所以你遇到的是正常行为（它不是错误或与网络延迟或类似的东西有关）。您可以做的是确保您要按顺序处理的所有消息都发送到同一个分区。您可以通过将分区数设置为 1 来做到这一点，这是最愚蠢的方式。当您与生产者发送消息时，默认情况下，kafka 会查看密钥，对其进行哈希处理，并通过该哈希知道应该在哪个分区上发送消息。您可以确保所有消息的密钥都是相同的。这样一来，所有键的哈希值都是相同的，所有消息都将进入同一个分区。还，您可以实现自定义分区器并覆盖 kafka 如何选择分区消息的默认方式。这样，所有消息都会按顺序到达。如果您无法执行任何此类操作，那么您将收到乱序的事件，您将不得不考虑如何乱序消费它们，但这不是与 kafka 相关的问题。