apache-nifi - Apache Nifi：单例实例 python 进程 - ExecuteStreamCommand 或类似

Question

Apache NiFi 的新手。想知道是否可以实现该场景：

• 有一个 Python 脚本能够读取文件stdin并将转换结果放入stdout
• 该脚本无法在 ExecuteScript 中定义，因为 NumPy 是一个依赖项
• 脚本初始化非常耗时
• 该脚本将几 GB 的数据字典加载到内存中，这是进行转换所需的

有没有办法在 NiFi 处理器中托管此类脚本的单例实例？实例的生命周期应持续到处理器停止。

目标是避免昂贵的脚本初始化每个流文件和相关的内存重新分配。

相关问题：NiFi 是否允许缓冲流文件并将集合作为一个整体传递给处理器？

标签： apache-nifi

Answer 1

你不能用 ExecuteStreamCommandsingleton instance

但是一些想法：

singleton instance- 修改你的python脚本以通过http接收/回复流文件，启动一次，这就像你想要的，除了开始-停止要求

buffer flow files and pass a collection：

• 使用 tar 格式的 mergecontent 将多个流文件放在一个 tarball 存档中，
• 然后使用您的 python 脚本处理 tar 中的所有文件并返回带有已处理文件的新 tarball
• 然后在 nifi 中提取 tar 存档