时间戳

首页 > 解决方案 > 并行处理-R中的Foraech和for循环

r - 并行处理-R中的Foraech和for循环

问题描述

我想生成一个矩阵，我将生成过程放在下面。但这花了很多时间。有没有其他方法可以通过使用 foreach 和并行处理更快地获得相同的结果？

"""

library("foreach")
library("doParallel")
lambdas=seq(0.01,7, by = 0.01)

cl <- makeCluster(2) # create a cluster with 2 cores
registerDoParallel(cl) # register the cluster
nlambdas <-foreach(i = 1:1, .inorder=FALSE ,.combine = 'cbind', .multicombine=TRUE, .packages = "quantreg") %dopar% {
  first<-rep()
  second<-rep()
  third<-rep()
  fourth<-rep()
  for (m in 1:700) {
    for (j in 1:700) {
      for (n in 1:700) {
        for (k in 1:700) {
          first<-rbind(first,lambdas[m])
          second<-rbind(second,lambdas[j])
          third<-rbind(third,lambdas[n])
          fourth<-rbind(fourth,lambdas[k])
        }      
      }
    }
  }
  lambda_total<-cbind(first,second,third,fourth)
}

stopCluster(cl)

"""

标签： rfor-loopforeachparallel-processing

解决方案

您不需要并行处理，只需要一个复杂度小于 (O**4) 且运算速度慢的算法来组成这个矩阵。

通过重复排序四个向量可以很容易地构建相同的矩阵。但是，在您的情况下，使用 700**4= 2.4e+11 个元素，这可能需要一些时间。

我用向量中只有 7 个不同的值lambdas（总共 2401 个元素）来说明算法。

nsteps = 7
lambdas = seq(0.01,7,(7/nsteps))

h = rep(lambdas,nsteps**3)
i = rep(lambdas,nsteps**3)
j = rep(lambdas,nsteps**3)
k = rep(lambdas,nsteps**3)

ordering = order(k)

k = k[ordering]
k = k[ordering]
k = k[ordering]
k = k[ordering]

j = j[ordering]
j = j[ordering]
j = j[ordering]

i = i[ordering]
i = i[ordering]

h = h[ordering]

lambdas.total = cbind(first=h,second=i,third=j,fourth=k)

如果您的内存足够大，可以处理长度>10**10 的向量排序，那么您可以立即用 700 步执行 lambda。不需要任何 for 循环。

推荐阅读