apache-kafka - 我们可以将 KStream 与 Flink 一起使用吗？

Question

我在微服务架构中使用 flink 流来处理从服务到报告和搜索数据库的 ETL 数据。为了感知数据变化，我目前正在为 RMQ 生成自定义事件，然后根据报告和搜索需求使用流来分区、聚合和转换数据。

我正在迁移到 kafka 作为代理和 debezium，以从所有微服务的数据库中获取数据。如果我可以使用 KStreams API 或 flink 或者有可能将两者结合起来，我正在徘徊。

标签： apache-kafkamicroservicesapache-flinkapache-kafka-streamsflink-streaming

Answer 1

由于 Kafka Streams 可以嵌入到任何 Java 应用程序中，理论上答案是肯定的。

但是，出于 ETL 的目的，没有必要，因为 Flink 已经可以在不同的 Kafka 主题甚至不同的集群之间进行过滤、映射、聚合操作（Kafka Streams 无法做到）