apache-kafka - 处理两个 kafka 队列，以便只处理两个队列中存在的数据

Question

我有三种不同的服务：service1、service2 和 service3。service3 只能处理由 service1 和 service2 处理的数据。从源流中，我将数据发送到 kafka 队列，队列中的每个数据都有唯一的 id。service1 和 service2 使用该数据并将处理后的数据分别发送到 queue1 和 queue2。

现在，我需要一个服务，它只获取那些同时存在于 queue1 和 queue2 中的消息，并将其发送到 service3 将处理它们的不同队列。

仅供参考，service1 和 service2 需要不同的时间来处理消息。我想在 service1 和 service2 处理消息后立即通过 service3 处理消息。另外，我不能按顺序运行 service1 和 service2，我只能独立运行它们。

下面是图示。我需要为“某些服务？”构建代码。首选语言是 python 或 node。

标签： apache-kafka