json - 在 Nifi 中多次拆分后合并 Json

Question

我多次拆分我的 Json 以避免 OOM 错误。我已经放置了一个等待处理器来等待我的所有记录使用合并内容。每个 FF 都被赋予了原始文件行数的属性。

等待处理器应该让 FF 处于等待状态，直到通知将计数器增加到总行数。

但是，我的等待处理器似乎没有将我的 FF 放入等待队列（它没有显示，但有）。

这种平和的流动有什么问题吗？

标签： jsonbigdataapache-nifidata-processing

Answer 1

您可以在每次拆分之后使用 UpdateAttribute 进行多次合并，以将fragment.*属性保存为不同的东西，也许是fragment1.*,fragment2.*等。然后您可以在每次合并之前使用 UpdateAttribute 以相反的顺序恢复它们中的每一个，设置fragment.*为fragment2.*属性，然后是 MergeContent，然后设置fragment.*到fragment1.*属性，然后是 MergeContent，依此类推。