r - 在具有列表列的数据帧上使用 setdiff

Question

如果data.frames包含列表列，是否有一个R函数来获取一个data.frame中但不在另一个data.frame中的行？我知道 dplyr::setdiff 将在常规 data.frames 上工作，但如果我将它应用于带有列表列的 data.frame，我会收到错误消息。

list_df1 <- data.frame(x = c(1, 2, 2))
list_df1$y <- list(c("A", "B"), c("C"), c("B", "C"))
list_df2 <- data.frame(x = c(2, 3))
list_df2$y <- list(c("C"), c("D", "E"))
dplyr::setdiff(list_df1, list_df2)
#> Error: Can't join on 'y' x 'y' because of incompatible types (list / list)

目前，我一直在对两个 data.frames 中的行使用循环，并直接比较行是否相等：

in_df2 <- rep(FALSE, nrow(list_df1))
for (row_ind1 in seq_len(nrow(list_df1))) {
  for (row_ind2 in seq_len(nrow(list_df2))) {
    rows_equal <- all.equal(list_df1[row_ind1, ], 
                            list_df2[row_ind2, ], 
                            check.attributes = FALSE)
    if (isTRUE(rows_equal)) {
      in_df2[row_ind1] <- TRUE
      break
    }
  }
}
list_df1[!in_df2, ]
#>   x    y
#> 1 1 A, B
#> 3 2 B, C

虽然给出了我正在寻找的结果，但我确信一定有更好或更有效的解决方案。

如果非列表列唯一标识结果，则 dplyr::anti_join 也是一种可能的解决方案。但在这种情况下，我只想在两个 data.frame 之间的所有条目都相同时删除行。如果我们仅在 x 列上应用 anti_join，我们不会得到我正在寻找的结果：

dplyr::anti_join(list_df1, list_df2, by = "x")
#>   x    y
#> 1 1 A, B

并将其应用于所有列会产生错误，只需列出 set_diff

dplr::anti_join(list_df1, list_df2)
#> Error: Can't join on 'y' x 'y' because of incompatible types (list / list)

标签： rdplyr

Answer 1

简短的回答是，目前 R 或 dplyr 还没有将 setdiff 应用于带有列表列的 data.frames 的能力。但是，可以实现一个比循环遍历两个 data.frame 的简单方法快得多的解决方案。

选项 1：如果不需要列表列来识别不同的行，那么 dplyr::anti_join() 是一个很好的解决方案。要加入您可以使用的所有非列表列（假设 list_df1 和 list_df2 具有相同的列名）：

nonlist_setdiff <- function(list_df1, list_df2) {
  nonlist_vars <- list_df1 %>%
    select_if(function(x) !is.list(x)) %>%
    colnames(.)
  dplyr::anti_join(list_df1, list_df2, by = nonlist_vars)
}

选项 2：如果列表列需要识别不同的行，则 anti_join() 不再是一个选项。相反，您可以创建两个 data.frame 的每一行的哈希，将它们转换为字符向量。然后您可以将 setdiff 应用于字符向量。这种方法使用了 digest、dplyr 和 purrr 包：

digest_setdiff <- function(list_df1, list_df2) {
  hash1 <- list_df1 %>%
    purrr::transpose() %>% # Transposing helps speed up the calculations
    purrr::map_chr(digest::digest, algo = "xxhash64") #use xxhash64 for speed
  hash2 <- list_df2 %>%
    purrr::transpose() %>%
    purrr::map_chr(digest::digest, algo = "xxhash64")
  only_in_df1 <- setdiff(hash1, hash2)
  list_df1[hash1 %in% only_in_df1, ]
}

这种方法应该适用于所有类型的 data.frames，无论多么复杂，而且它比简单的方法要快得多。但是，它仍然比 dplyr::setdiff 和 dplyr::anti_join 命令慢得多，所以如果不需要，请不要使用它。

在您的测试输入数据上运行 digest_setdiff 会得到所需的结果：

digest_setdiff(list_df1, list_df2)
#>   x    y
#> 1 1 A, B
#> 3 2 B, C