r - 在 foreach 循环中并行执行 autoML 时出现 H2O“网格:无法将新模型附加到具有不同训练输入的网格”错误
问题描述
我正在尝试使用 H2O 提供的 autoML 功能并行化多个 ML 模型的训练。我正在使用的核心代码如下:
library(foreach)
library(doParallel)
project_folder <- "/home/user/Documents/"
ncores <- parallel::detectCores(logical = FALSE)
nlogiccpu <- parallel::detectCores()
max_mem_size <- "4G"
cl<-makeCluster(nlogiccpu)
registerDoParallel(cl)
df4 <-foreach(i = as.numeric(seq(1,length(divisions))), .combine=rbind) %dopar% {
library(dplyr)
library(h2o)
h2o.init(nthreads = ncores, max_mem_size = max_mem_size)
div <- divisions[i]
df.h2o <- as.h2o(
df %>% filter(code == div) )
y <- "TARGET"
x <- names(df.train.x.discretized)
automl.models.h2o <- h2o.automl(
x = x,
y = y,
training_frame = df.h2o,
nfolds = 10,
seed = 111,
project_name = paste0("PRJ_", div)
)
leader <- automl.models.h2o@leader
div_folder <- file.path(project_folder, paste0("Division_", div))
h2o.saveModel(leader,
path = file.path(div_folder, "TARGET_model_bin"))
...
}
所有模型中只有一部分经过训练并保存在其文件夹中,因为在某些时候我收到以下错误:
water.exceptions.H2OIllegalArgumentException:非法参数:training_frame of function:grid:无法将新模型附加到具有不同训练输入的网格
我想在 autoML 阶段使用网格,所以我试图找到一个参数来传递,grid_id
因为我可以在h2o.grid
函数中执行以下操作:
grid <- h2o.grid(“gbm”, grid_id = paste0(“gbm_grid_id”, div),
...)
但我找不到这样做的方法。我使用的 H2O 包版本是 3.24.0.2。
有什么建议吗?
解决方案
对这个问题的简短回答是,您不能在单个网格中使用不同的训练框架。每个模型网格必须与单个训练集相关联(这个想法是您不想比较在不同训练集上训练的模型)。这就是您遇到错误的原因。看起来您的每个df.h2o
训练帧都是原始df
帧的不同子集。
另一个注意事项:H2O 和 R 的并行功能不能很好地混合。H2O 模型训练已经并行化,但方式不同(出于可扩展性的原因)。单个模型的训练在 H2O(在多个内核上)内并行化,但 H2O 并非旨在一次训练多个模型。如果您想在一台机器上同时训练多个模型,那么您必须在不同端口的不同 R 会话中启动多个 H2O 集群。
推荐阅读
- javascript - HTMLElement 属性返回未定义——Angular
- python - Python中具有指数(N和P)的数字总和
- google-apps-script - Google 表格列表文本
- c# - 计算本周 SQLite 数据库中的行数
- javascript - 如何重新为多个图像创建模态?
- angular - Angular页面,XPath找不到文本
- kubernetes - 使用 RBAC 为上游和下游配置 Istio 入口网关
- html - 如何更改活动导航链接的背景颜色?
- c++ - 模棱两可的重载运算符 C++20
- java - XSSFWorkbook.getSheet() 返回 null