时间戳

首页 > 解决方案 > 如何在 R 中使用 disk.frame 计算唯一实体？

r - 如何在 R 中使用 disk.frame 计算唯一实体？

问题描述

我想将数据框转换为磁盘框，然后计算第一列。当我尝试它时，它不计算列的唯一值的数量。它似乎在计算工人的数量。

library(disk.frame)
options(future.globals.maxSize = Inf)
setup_disk.frame(workers = 8)

这是一个示例数据集

    bigint <- sample(123901239804:901283455390, 3*10^5)
    df <- data.frame(bigint)
    df %>% 
      summarize(ints = length(unique(bigint)))
    
    df %>% 
      as.disk.frame %>%
      summarize(ints = length(bigint)) %>% 
      collect

在第一个查询中，它让我得到这个输出

    ints
1 300000

在第二个查询中，它得到了我这个输出

    ints
1      8

标签： rdisk.frame

解决方案

{disk.frame} 只支持一些分组功能。您可以使用dplyr::n_distinct

df %>% 
  as.disk.frame %>%
  summarize(ints = n_distinct(bigint)) %>% 
  collect

产生

    ints
1 300000

在此处查看支持的分组动词列表https://diskframe.com/articles/10-group-by.html#list-of-supported-group-by-functions

您可以按照本指南定义更多自定义的分组动词

https://diskframe.com/articles/11-custom-group-by.html

由于disk.frame的分块性质，某些group-by动词不可能以精确的方式完成（并且必须依赖估计）。但这适用于所有“大”数据系统。

推荐阅读