时间戳

首页 > 解决方案 > 要删除重复的行，除非列中存在 NA 值

r - 要删除重复的行，除非列中存在 NA 值

问题描述

我有一个包含 4 列的数据表：ID、名称、Rate1、Rate2。

我想删除 ID、Rate1 和 Rate 2 相同的重复项，但 如果它们都是 NA，我想保留这两行。

基本上，我想有条件地删除重复项，但前提是条件！= NA。

例如，我想要这样：

ID   Name   Rate1    Rate2
1    Xyz    1        2
1    Abc    1        2
2    Def    NA       NA
2    Lmn    NA       NA
3    Hij    3        5
3    Qrs    3        7

变成这样：

ID   Name   Rate1    Rate2
1    Xyz    1        2
2    Def    NA       NA
2    Lmn    NA       NA
3    Hij    3        5
3    Qrs    3        7

提前致谢！

编辑：我知道可以只取数据表中 Rates 为 NA 的子集，然后删除剩余部分的重复项，然后重新添加 NA 行 - 但是，我宁愿避免这种策略。这是因为实际上有很多对联的利率我想连续这样做。

EDIT2：为清楚起见，在示例中添加了更多行。

标签： rduplicatesdata.tableconditional-statementsdistinct

解决方案

一个base R选项是duplicated在没有“名称”列的数据集子集上使用，即列索引 2 来创建逻辑向量，取反（!- TRUE 变为 FALSE，反之亦然），这样 TRUE 将是非重复行。rowSums除此之外，在逻辑矩阵（ -Rate 列）上创建另一个条件is.na(df1[3:4])以获得所有 NA 的行 - 这里我们将其与 2 进行比较 - 即数据集中的 Rate 列数）。这两个条件都被连接起来|以创建预期的逻辑索引

i1 <- !duplicated(df1[-2])| rowSums(is.na(df1[3:4])) == 2
df1[i1,]
#    ID Name Rate1 Rate2
#1  1  Xyz     1     2
#3  2  Def    NA    NA
#4  2  Lmn    NA    NA

或Reduce从base R

df1[Reduce(`&`, lapply(df1[3:4], is.na)) | !duplicated(df1[-2]), ]

将其包装在一个函数中

f1 <- function(dat, i, method ) {     
        
         nm1 <- grep("^Rate", colnames(dat), value = TRUE)    
         i1 <- !duplicated(dat[-i])  
         i2 <-  switch(method, 
           "rowSums" = rowSums(is.na(dat[nm1])) == length(nm1),
           "Reduce" = Reduce(`&`, lapply(dat[nm1], is.na))
         
         )   
         i3 <- i1|i2
         dat[i3,]
     }

-测试

f1(df1, 2, "rowSums")
#  ID Name Rate1 Rate2
#1  1  Xyz     1     2
#3  2  Def    NA    NA
#4  2  Lmn    NA    NA

f1(df1, 2, "Reduce")
#  ID Name Rate1 Rate2
#1  1  Xyz     1     2
#3  2  Def    NA    NA
#4  2  Lmn    NA    NA

f1(df2, 2, "rowSums")
#  ID Name Rate1 Rate2
#1  1  Xyz     1     2
#3  2  Def    NA    NA
#4  2  Lmn    NA    NA
#5  3  Hij     3     5
#6  3  Qrs     3     7

f1(df2, 2, "Reduce")
#  ID Name Rate1 Rate2
#1  1  Xyz     1     2
#3  2  Def    NA    NA
#4  2  Lmn    NA    NA
#5  3  Hij     3     5
#6  3  Qrs     3     7

如果有多个 'Rate' 列（比如 100 或更多 - 在第一个解决方案中唯一需要更改的是2应该更改为 'Rate' 列的数量）

或使用tidyverse

library(tidyvesrse)
df1 %>%
    group_by(ID) %>%
    filter_at(vars(Rate1, Rate2), any_vars(!duplicated(.)|is.na(.)))
# A tibble: 3 x 4
# Groups:   ID [2]
#     ID Name  Rate1 Rate2
#  <int> <chr> <int> <int>
#1     1 Xyz       1     2
#2     2 Def      NA    NA
#3     2 Lmn      NA    NA



df2 %>% 
     group_by(ID) %>%
     filter_at(vars(Rate1, Rate2), any_vars(!duplicated(.)|is.na(.)))
# A tibble: 5 x 4
# Groups:   ID [3]
#     ID Name  Rate1 Rate2
#  <int> <chr> <int> <int>
#1     1 Xyz       1     2
#2     2 Def      NA    NA
#3     2 Lmn      NA    NA
#4     3 Hij       3     5
#5     3 Qrs       3     7

正如@Paul 在评论中提到的，tidyverse截至 2021 年 11 月 4 日的更新语法是

library(dplyr)
df2 %>% 
     group_by(ID) %>%
     filter(if_any(cRate1, Rate2), ~ !duplicated(.)|is.na(.)))

数据

df1 <- structure(list(ID = c(1L, 1L, 2L, 2L), Name = c("Xyz", "Abc", 
"Def", "Lmn"), Rate1 = c(1L, 1L, NA, NA), Rate2 = c(2L, 2L, NA, 
 NA)), class = "data.frame", row.names = c(NA, -4L))

df2 <- structure(list(ID = c(1L, 1L, 2L, 2L, 3L, 3L), Name = c("Xyz", 
 "Abc", "Def", "Lmn", "Hij", "Qrs"), Rate1 = c(1L, 1L, NA, NA, 
 3L, 3L), Rate2 = c(2L, 2L, NA, NA, 5L, 7L)), class = "data.frame", 
 row.names = c(NA, -6L))

推荐阅读