apache-nifi - 为什么我的 NiFi 1.11.1 处理器挂在任务上?
问题描述
我有一组进程组在 1.8.0 NiFi 服务器上愉快地运行。我在一个单独但类似的服务器上创建了一个 NiFi 1.11.1 实例,并在相同的进程组上进行了模板化。在新的 1.11 服务器上,处理器(所有处理器,在类型上没有明显区别)处理一小批任务,然后在一个任务上挂起几个小时。
重新启动处理器没有明显的效果,重新启动 NiFi 实例本身通常可以让处理器在问题重新出现之前正常运行一两分钟。日志中没有错误,增加内存没有效果,处理器使用率没有超过 20%。
我一直在与正在运行的服务器进行比较,唯一的区别是较新的 NiFi 版本和操作系统的打开文件限制(在我更新以匹配工作服务器之前确实导致日志中出现错误语句)。当然,我只检查了我想检查的内容,所以请提出我可能遗漏的任何内容。
我对 NiFi 很陌生,所以如果有诊断或类似的东西可以用来获取更多信息,请告诉我。
解决方案
根据@Andy,在 Settings -> Controller Settings -> General 下有两个选项,Maximum Timer Driven Thread Count 和 Maximum Event Driven Thread Count。这些默认值分别为 10 和 1。对于任何大量的处理器,这都是不够的,因此需要增加这些值。就我而言,这意味着将它们都提高到 300。
推荐阅读
- apache-spark - PySpark 在使用 table_name.colname 表示法加入后无法删除列,有没有更好的方法?
- javascript - 正则表达式未验证
- flutter - 使用 wrap 小部件使按钮在空格后对齐
- javascript - 未捕获的类型错误:无法在 javascript 中读取 null 的属性“追加”
- node.js - 写入本地主机 Postgres 返回臭名昭著的“42P01 parse_relation.c”错误
- javascript - 单击元素后工具提示没有隐藏(bootstrap v5.0)
- python - Pip 成功安装模块未找到:ImportError: No module named xlwt
- virtualenv - 对同一个 DAG 中的不同任务使用不同的 pandas 版本(气流)
- android - Android 5.1 选择键盘不起作用
- linux - 在 Arch linux 中更改 powerbutton 角色不起作用?