r - 从并行 foreach 循环中获取多个值
问题描述
我试过搜索,但没有找到任何让我一路走来的东西。
我正在三个栅格的堆栈上运行占用预测模型。由于需要进行大量处理,我正在使用并行 foreach 循环。
我需要从循环的结果中检索三个变量:test、na 和 pred。我需要这三个值来填充新的栅格值并保持相同的范围。除非有人知道如何填补处理过程中 NA 值造成的空白?
以下是我根据找到的帖子尝试使用的代码。我也尝试过嵌套 foreach 循环,但我不确定我是否理解这些循环是如何工作的,或者这是否能达到我的目的。
library(parallel)
library(doSNOW)
multiResultClass<- function(test = NULL, tmp = NULL, na = NULL, pred = NULL){
results<- list(
test = test,
tmp = tmp,
na = na,
pred = pred
)
class(results)<- append(class(results), "multiResultClass")
return(results)
}
nc<- detectCores()-1
cl<- makeCluster(nc)
registerDoSNOW(cl)
predicts<- foreach (i = 1:nrow(pm), .multicombine = T, .maxcombine = 1000,
.packages = c("unmarked", "raster"), .verbose = T)%dopar%{
results<- multiResultClass()
test<- cellFromRow(pm, i)
tmp<- data.frame(pm[test])
na<- any(is.na(tmp[i, ]))
if(length(which(na) != nrow(tmp))){
pred<- predict(fmBest, "state", tmp)
}
results$test<- test
results$tmp<- tmp
results$na<- na
results$pred<- pred
return(results)
}
foreach(i = 1:nrow(pm))%do%{
test<- predicts[[i]]$test
na<- predicts[[i]]$na
pred<- predicts[[i]]$pred
}
stopCluster(cl)
我有一个工作的 foreach 循环可以让我获得 pred 值,但是没有测试和 na 我还没有找到一种方法来正确填写数据需要进入的栅格模板。该 foreach 循环如下:
library(parallel)
library(doSNOW)
ns<- detectCores()-1
cl<- makeCluster(ns);cl
registerDoSNOW(cl)
predictions<-
foreach (i = 1:nrow(pm), .multicombine = T, .maxcombine = 5000,
.packages = c("unmarked", "raster"), .verbose = T)%dopar%{
test<- cellFromRow(pm, i)
tmp<- data.frame(pm[test])
na<- any(is.na(tmp[i, ]))
if(length(which(na) != nrow(tmp))){
predict(fmBest, "state", tmp)
}
}
stopCluster(cl)
解决方案
我终于找到了一个可以工作的组合功能。下面是我使用的代码,它在一个大列表中返回 test、na 和 pred 的值。
library(doSNOW)
nc<- detectCores()-1
cl<- makeCluster(nc);cl
registerDoSNOW(cl)
comb<- function(...){
mapply('rbind', ..., SIMPLIFY = F)
}
predictions<- foreach(i = 1:nrow(pm), .combine = 'comb', .multicombine = T,
.maxcombine = 200, .packages = c("unmarked", "raster"), .verbose = T,
.inorder = F)%dopar%{
#get cell number values from raster stack
test<- cellFromRow(pm, i)
# make into a data.frame for prediction
tmp<- data.frame(pm[test])
# test which are na
na<- any(is.na(tmp[i, ]))
# avoid NA values entering the predict function
if(length(which(na)) != nrow(tmp)){
# # Predict the new data
pred<- predict(fmBest, "state", tmp)
}
list(test, na, pred)
}
stopCluster(cl)
推荐阅读
- reactjs - 使用 reactjs 在 UI 中显示 YAML 文件?
- r - 从数据框中的行复制与模式匹配的字符串并放入新数据框中的新列
- android - Koin 在关闭后重新注入实例
- sql - 需要通过查询验证日期跨度条件
- android - 在 InApp 计费库 [android] 的响应中检测测试购买
- python-3.x - 我的 ubuntu 服务器中的 Cron 作业无法启动
- puppet - kernel-devel 安装使用 puppet 抛出错误
- java - Whitelabel 错误页面 - 应用程序没有 /error 的显式映射
- gradle - Gradle复合构建`无法添加任务'包装器'作为具有该名称的任务已经存在。
- javascript - vue.js 元素 ui 将布尔数据绑定到选择列