java - Kafka Stream 应用程序可以从 Kinesis 流中读取吗？

Question

我需要编写一个从 Kinesis 流中读取数据并将数据存储到 Kafka 主题的 Java 应用程序。我不能使用连接器，我必须使用 Kafka Streams，因为涉及到很多逻辑。Kafka Stream 可以直接从 Kinesis 流中读取，还是我必须先将数据存储到 Kafka 主题才能被 Kafka Stream 读取？

我阅读了很多关于 Kafka Streams 的内容，但我从未见过 Kafka Stream 从除 Kafka 主题之外的其他内容中读取的示例。

标签： javaapache-kafkaapache-kafka-streamsamazon-kinesis

Answer 1

Kafka Streams 仅连接到单个 Kafka 集群和读/写主题。它不能读取或写入任何其他系统。

如果我们想将数据导入 Kafka（或从 Kafka 导出），您可以使用 Kafka Connect。对于简单的数据转换，Connect 提供了您可以使用的所谓“单消息转换”(SMT)。对于更复杂的转换，您需要先导入未修改的数据，然后使用 Kafka Streams 进行相应的转换。