apache-nifi - Nifi在HDFS路径上为前一天合并的json文件移动文件

Question

我需要将前一天处理并合并的 json 文件移动到新的 hdfs 路径中。要求是递归搜索未处理的文件并移动待处理的未处理文件。

路径 1 -> /data/nifi/working/2019/10/source_2019_10_15.json --- 每日处理的文件合并在此路径下，并每天添加。路径 2 -> /data/nifi/incoming/ - 代码应该搜索文件夹是否不存在，然后创建和移动文件，如果文件夹已经存在则移动文件。

目前，我正在使用 nifi flow -- ListHDFS->MoveHDFS 但无法实现。

需要帮助如何实现这一点。

感谢您的帮助。

标签： apache-nifihortonworks-data-platformcloudera-cdhmaprdata-ingestion

Answer 1

当前流程运行良好。

listhdfs->fethchdfs->updateattribute->puthdfs

在 listhdfs 中，设置消耗前的最小文件年龄等待时间。这将允许进程递归搜索文件，并使用 updateattribute 重新创建文件夹并将文件处理到 /data/nifi/incoming/。