csv - Nifi:检查 CSV 文件的行更新,然后摄取
问题描述
通常在我们的环境中,当有人要摄取新数据时,他们会生成一个新的 CSV 文件,Nifi 将从 SFTP 中获取该文件。但是,我有一个新案例,其中源的 CSV 文件位于共享驱动器上,并且当有更新时,他们的应用程序会向其中添加新行。
Nifi 有没有办法在添加新行时监控这个 CSV 文件?并且它随后可以只摄取新数据吗?我认为关系数据库有类似的东西,但我还没有看到文件有类似的东西。提前致谢。
解决方案
试试这个TailFile
处理器。如果行总是附加到末尾(我怀疑是这种情况),那么取决于它的计划方式(以及一次添加多少行)TailFile 应该输出每个流文件一行或每个流文件的行数. 在任何一种情况下,您都会有一个新行流。
推荐阅读
- r - 使用 ifelse 和 group by 改变 data.table 中的列
- r - 是否可以在 R 上创建此图?
- neo4j - 基于新节点更新节点属性
- python - 如何使用 sqlalchemy 和 DSNless 连接连接到 Teradata Server
- java - HashMap 为 jUnit 测试返回“null”
- json - 如何在颤动的 POST 请求中将 Map 作为字符串发送?
- node.js - 使用 Nodejs 创建 Lambda 函数以触发 Codebuild 项目
- angularjs - 从方法更改的 AngularJS 值在刷新后不会持续存在
- python - 具有非均匀矩阵网格的 Matplotlib 等高线图
- python - 如何在 Python 中对 mixin 类进行参数化?