首页 > 解决方案 > NiFi MergeContent 不处理流文件

问题描述

我有几个 Nifi 流消耗来自 Kafka 的数据,然后将其写入 HDFS。在写入 HDFS 之前,我们使用MergeContent合并流文件并写入更大的消息(有点像批处理)。

然而,对于其中的 2 个流,MergeContent似乎没有处理流文件:流文件在MergeContent处理器之前停留在队列中。我试过修改Max Bin Age参数,以及最大和最小条目数,它没有改变任何东西。流文件在队列中停留的时间远远超过了该max bin age时间段。

以下是MergeContent属性截图:

合并内容属性

合并内容计划属性

这里也是队列的截图。您可以看到至少在过去 5 分钟内没有任何处理。您还可以看到一些流文件确实被合并了,当我第一次启动它时,流工作正常,大约 10 分钟后问题出现了。

Nifi队列

知道问题可能是什么吗?

标签: apache-nifi

解决方案


推荐阅读