apache-nifi - NiFi - 合并分页 API 返回的数据

Question

我有一个一次返回 200 条记录的 API。如果我有 600 条记录，我需要触发 API 3 次以获取所有带有偏移量的记录。这是我获取分页数据的设计：

获取分页数据的配置

我的问题是，如何将所有 600 条记录组合成数组并进一步处理。（注意：我将实时处理大约 10 万条记录）。我尝试使用 MergeContent，但所有记录都没有合并。请帮我解决一下这个。

标签： apache-nifi

Answer 1

尝试MergeRecord或MergeContent为他们的“垃圾箱”设置更高的阈值。他们将等到他们有足够的数据或发生用户指定的超时，然后再将他们拥有的数据发送到下游。