时间戳

首页 > 解决方案 > 通过 Nifi 进行微批处理

apache-kafka - 通过 Nifi 进行微批处理

问题描述

我有一个场景，我的 kafka 消息（来自同一主题）流经单个浓缩管道并在最后写入 HDFS 和 MongoDB。我用于 HDFS 的 Kafka 消费者将按小时运行（用于微批处理）。所以我需要知道根据流文件来自哪个消费者（HDFS 的消费者或 Mongo DB 的消费者）将流文件路由到 putHDFS 和 putMongo 的最佳方法。

或者请建议是否有任何其他方法可以通过Nifi实现微批处理。

谢谢

标签： apache-kafkaapache-nifi

解决方案

您可以将 Nifi 设置为对上传数据的处理器使用调度策略。

而且我认为您希望 Kafka 消费者始终读取数据，在 NiFi 中构建积压的 FlowFiles，然后以较低频率运行 put。

这类似于 Kafka Connect 为其 HDFS 连接器运行的方式

推荐阅读