时间戳

首页 > 解决方案 > R：sparklyr 中的组（“sum”、“count distinct”、“mean”）

r - R：sparklyr 中的组（“sum”、“count distinct”、“mean”）

问题描述

我们在工作目录中托管了以下数据：

 >library(sparklyr)
 >library(dplyr)

 >f<-data.frame(category=c("e","EE","W","S","Q","e","Q","S"), 
          DD=c(33.2,33.2,14.55,12,13.4,45,7,3),
          CC=c(2,44,4,44,9,2,2.2,4), 
 >FF=c("A","A","A","A","A","A","B","A") )

>write.csv(f,"D.csv")##Write in working directory

我们使用 spark 命令从工作目录中读取文件

>sc <- spark_connect(master = "local", spark_home = "/home/tomas/spark-2.1.0-bin-hadoop2.7/", version = "2.1.0")


>df <- spark_read_csv(sc, name = "data", path = "D.csv", header = TRUE, delimiter = ",")

我想得到一个像下面这样的矩阵，其中按“类别”分组，求和DD，计算“CC”的平均值，在“FF”中计数不同

它会保持这样：

  category SumDD MeanCC CountDistinctFF
   e       78.2    2             1
   EE      33.2    44.           1
   WW      14.55   4             1
   S       15      24            2
   Q       20.4    5.6           1

标签： rapache-sparksparklyr

解决方案

为了操作 spark DF，您需要使用 dplyr 函数。在火花环境中，除了最后一个变量之外，Naveen 的答案都可以。而不是unique你可以尝试n_distinct从 dplyr

df0=df%>%group_by(category)%>%
summarize(sumDD=sum(DD,na.rm=T),MeanCC=mean(CC,na.rm=T),CountDistinctFF=n_distinct(FF))

要将结果作为 spark DF 检查，您可以使用：

> glimpse(df0)
Observations: ??
Variables: 4
$ category        <chr> "e", "EE", "S", "Q", "W"
$ sumDD           <dbl> 78.20, 33.20, 15.00, 20.40, 14.55
$ MeanCC          <dbl> 2.0, 44.0, 24.0, 5.6, 4.0
$ CountDistinctFF <dbl> 1, 1, 1, 2, 1

或者您可以收集回本地系统并像任何 R 数据框一样进行操作

    > df0%>%collect
# A tibble: 5 x 4
  category sumDD MeanCC CountDistinctFF
  <chr>    <dbl>  <dbl>           <dbl>
1 e         78.2    2                 1
2 EE        33.2   44                 1
3 S         15     24                 1
4 Q         20.4    5.6               2
5 W         14.6    4                 1

推荐阅读