时间戳

首页 > 解决方案 > Kafka 流式读写到单独的集群

apache-kafka - Kafka 流式读写到单独的集群

问题描述

之前已经回答了一个类似的问题，但该解决方案不适用于我的用例。

我们在 2 个独立的 DC 中运行 2 个 Kafka 集群。我们的整体传入流量在这 2 个 DC 之间分配。

我将在每个 DC 中运行单独的 Kafka 流应用程序来转换该数据，并希望在单个 DC中写入 Kafka 主题。我怎样才能做到这一点？

最终我们将在 Druid 中索引 kafka 主题数据。由于我们正在尝试聚合数据，因此无法运行单独的 Druid 集群。

我读过它不可能使用单个 Kafka 流。有没有办法可以使用另一个 Kafka 流从 DC1 读取并写入 DC2 kafka 集群？

标签： apache-kafkaapache-kafka-streams

解决方案

正如您自己编写的那样，您不能使用 Kafka Streams API 从 Kafka 集群 A 读取并写入不同的 Kafka 集群 B。

相反，如果您想在 Kafka 集群之间移动数据（无论是在同一个 DC 中还是跨 DC），您应该使用诸如 Apache Kafka 的Mirror Maker或Confluent Replicator之类的工具。

推荐阅读