amazon-s3 - NiFi ListS3 处理器包含父文件路径作为流文件

Question

我在 s3 中的文件

s3://my_bucket/my_path/data/category/myfile.txt

使用带有存储桶的 ListS3 处理器并传递“my_path/data/category/”作为前缀，我将获得两个流文件：

“s3://my_bucket/my_path/data/category/myfile.txt” 和 “s3://my_bucket/my_path/data/category/”

这里的第二个不是实际的流文件，而只是它的路径。

如何更改我的处理器配置以仅获取“myfile.txt”条目？

此外，FetchS3 似乎正在拾取它并将其发送到下一个处理器“ExecuteScript”，该处理器正在修改文件的内容。

这个ExecuteScript处理器显然失败了，但没有记录它，相反，它只是卡在队列中。

如何让它将其发送到故障路径而不是卡在队列中？

标签： amazon-s3apache-nifi

Answer 1

找到了解决方案！ListS3 存储桶中有一个“分隔符”属性，我需要在其中包含“/”作为分隔符。这用于排除 Amason S3 的父目录。