r - ddply 和 group_by 的更快替代方案

问题描述

我试图找出循环遍历 data.frame 的最佳方法myData，按两列分组，c1和c2. 具体来说，我想遍历和的每个独特组合，c1并将c2某个组合customFunction应用于myData. 这customFunction取决于someStatsFunction，它输出 a data.frame。

我通常会使用函数plyr::ddply，但我的真实数据集有超过 1800 万行，这并不奇怪，这花费了太长时间。所以我决定使用dplyr::group_byand改变管道的方法dplyr::do。尽管使用dplyr加速了问题（参见下面的最小示例），但仍然需要相当长的时间。我听说这个data.table框架可以加快速度（见这里的例子），但我不知道如何使用它。我想知道是否有人可以使用以下方法翻译我的问题，data.table以便我也可以对其进行基准测试。

library(plyr)  
library(dplyr)  
library(rbenchmark)  

someStatsFunction  <-  function (x) {
    data.frame(name = 'something', mean = mean(x), sd = sd(x), statx = sqrt(mean(abs(x)))/sd(x)^2)
}

customFunction  <-  function (data) {
    if (!all(sort(data$time) == data$time)) {
        stop('Column \'time\' is not ordered')
    }
    someStatsFunction(data$response)
}

myData  <-  data.frame(c1 = rep(rep(1:50, each = 30), 10), c2 = rep(rep(1:30, 50), 10), response = rnorm(30 * 50 * 10), time = 1:(30 * 50 * 10))

benchmark('testPlyr' = {
            testPlyr   <-  plyr::ddply(myData, .(c1, c2), customFunction)
          },
          'testDplyr' = {
            testDplyr  <-  myData %>% dplyr::group_by(c1,c2) %>% dplyr::do(customFunction(.))
          },
          replications = 3,
          columns      = c('test', 'replications', 'elapsed', 'relative', 'user.self', 'sys.self'))

这是我得到的输出：

       test replications elapsed relative user.self sys.self
2 testDplyr            3   7.416     1.00     7.368    0.060
1  testPlyr            3   8.378     1.13     8.364    0.012

谢谢，
D

@minem回答后更新

首先，我对上面的示例进行了一些修复，因为代码不正确。

其次，我扩展了上面的最小可重现示例，以更好地（稍微）反映我的情况。这someStatsFunction可能取决于 data.table 中的多个列，并根据从这些多列派生的一些重要的统计信息组合来处理一堆数字。我还增加了的大小myData（因此，如果与原始示例相比，下面的示例现在需要更长的时间）。无论如何，我想我设法复制了从plyror获得的输出dplyr。它使用 data.table 运行得更快，这真的很酷（参见下面的基准测试）。但是，代码似乎有点笨拙：

library(plyr)  
library(dplyr)  
library(data.table)  
library(rbenchmark)  

someStatsFunction  <-  function (y, x) {
    x    <-  as.integer(x)
    mod  <-  coef(summary(lm(y ~ x)))
    data.frame(stats1  = 'something',
             intercept = mod[1],
             slope     = mod[2],
             meanx     = mean(x),
             statx     = sqrt(mean(abs(x)))/sd(y)^2)
}

customFunction  <-  function (data) {
    if (!all(sort(data$time) == data$time)) {
        stop('Column \'time\' is not ordered')
    }
    someStatsFunction(y = data$response, x = data$time)
}

myData  <-  data.frame(c1 = rep(rep(1:50, each = 30), 1095), c2 = rep(rep(1:30, 50), 1095), response = rnorm(30 * 50 * 1095), time = rep(seq(as.Date('1981-01-01'), as.Date('1983-12-31'), by = '1 day'), each = 50*30))

benchmark('testPlyr' = {
            testPlyr   <-  plyr::ddply(myData, .(c1, c2), customFunction)
        },
          'testDplyr' = {
            testDplyr  <-  myData %>% dplyr::group_by(c1,c2) %>% dplyr::do(customFunction(.))
        },
          'testDtb' = {
            vNames   <-  c('stats1', 'intercept', 'slope', 'meanx', 'statx')
            dt       <- as.data.table(myData)
            testDtb  <- dt[order(time)][, 
            (vNames) := as.list(someStatsFunction(response, time)), 
            by = .(c1, c2)][, 
            head(.SD, 1), by = .(c1, c2)][, 
            c('response', 'time') := NULL, ]
        },
    replications = 3,
    columns      = c('test', 'replications', 'elapsed', 'relative', 'user.self', 'sys.self'))

这是我得到的输出：

       test replications elapsed relative user.self sys.self
2 testDplyr            3  28.209    3.101    20.841    7.317
3   testDtb            3   9.098    1.000    10.958    0.385
1  testPlyr            3  28.224    3.102    21.741    7.167

如此大幅度的提高速度。但是，我必须在应用之前先对数据进行排序someStatsFunction（即消除对ifat 语句的需要customFunction），然后使用列response和timein运行函数myData。此外，原始输出来自

dt[order(time)][, (vNames) := as.list(someStatsFunction(response, time)), by = .(c1, c2)]

给出一个不返回 1500 个值的表（即 30*50 的c1和组合c2），而是重复多次c1和的组合. c2此外，它确实返回了原始数据response和time列，尽管我只想要统计数据的唯一组合c1和c2绑定someStatsFunction（如在输出中使用plyr和/或dplyr），因此我的最终代码

testDtb  <- dt[order(time)][, 
(vNames) := as.list(someStatsFunction(response, time)), 
by = .(c1, c2)][, 
head(.SD, 1), by = .(c1, c2)][, 
c('response', 'time') := NULL, ]

无论如何我可以以更简化的方式实现相同的输出吗？

标签： rperformancedplyrdata.tableplyr

r - ddply 和 group_by 的更快替代方案

问题描述

解决方案

推荐阅读