apache-nifi - Nifi进程组调度使用control m

Question

我是 Nifi 的新手。我的要求是使用名为 Control M 的外部调度工具触发 Nifi 进程组。我尝试使用 shell 脚本使用 curl 命令启动和停止进程组。进程组将从文本文件中获取数据并写入数据库，但无法确定进程组何时完成，因为我可以看到像 Started、Running 和 Stopped 这样的状态，但不是 Completed 状态。对这个问题感到震惊，需要您就如何确定所有记录插入到放置在进程组内的数据库中的宝贵意见

标签： apache-nifi

Answer 1

NiFi 不是批量“开始和停止”风格的工具。NiFi 旨在处理连续的数据流，这意味着数据流“始终在线”。它不适合与 ControlM、Oozie、Airflow 等批处理调度程序一起使用。因此，流没有“已完成”状态。

也就是说，如果您想以这种方式安排流程，这是可能的 - 但您需要自己将其构建到流程中。您将需要定义“已完成”是什么并在您的流程中构建该逻辑 - 例如，在您最后一个处理器之后监视活动以监视活动。