首页 > 解决方案 > 如何在 Nifi 中使用 GenerateTableFetch 处理器捕获增量获取中的所有记录

问题描述

我正在使用 Nifi 1.7.1

就我而言,增量获取似乎无法正常工作。

所有记录都从数据库中获取,但不会一直到达目的地。

使用的处理器是 GenerateTableFetch 然后 Execute SQL 和其他相应的处理器向下数据处理流程。

记录 id 在 GenerateTableFetch 属性状态上被正确捕获,并且它作为来自源 (db) 的记录 id 是最新的。

但是,在处理文件时,它仍然会丢失一些记录,从而导致目标上的记录数与数据库中的源不同步。我已尝试为所有处理器连接增加背压对象阈值,但仍未成功

我错过了什么,会安排时间来获取帮助吗?

标签: apache-nifi

解决方案


推荐阅读