java - Java Flink : 批量添加 Source 作为 Stream 和 Sink

Question

我是 Flink 的新手。而且我有一个要求，我需要从 Kafka Stream 连续读取数据，但要分批写入。从而减少MongoServer上的查询次数。

请指导我最好的方法。

我目前尝试的。

• 从 Kafka Source 读取数据
• 应用 5 分钟的时间窗口
• 减少条目以创建条目列表。
• 从 MongoSink 函数中读取列表做一个 BulkWrite

谢谢，阿什尼克

标签： javaapache-flink

Answer 1

以上似乎应该工作。由于 Mongo 客户端非常简单，如果您想提高效率，您可以实现自己的 statefulProcessFunction来保存条目列表，并在列表达到一定大小或经过足够时间时刷新到 MongoDB。