时间戳

首页 > 解决方案 > 如何在 r 中导入 csv 数据后删除空行

r - 如何在 r 中导入 csv 数据后删除空行

问题描述

我将几个大型 csv 文件与对象的到达 (ATA) 和离开 (ATD) 时间结合起来。合并文件后，我无法<NA>使用熟悉的方法删除行。换行符和回车符的来源可能在 Windows 和 Unix 文件之间存在差异。但我不想更改 csv 文件。我希望能够更正 R 中的数据框。

我结合了几个包含相同变量的大型 csv 文件，例如：

# read csv files
df1 <- read.csv("data_1.csv", stringsAsFactors = FALSE)
df2 <- read.csv("data_2.csv", stringsAsFactors = FALSE)
df3 <- read.csv("data_3.csv", stringsAsFactors = FALSE)

# combine csv files
combidat <- rbind(df1, df2, df3)

# remove duplicate entries
combidat <- combidat[!duplicated(combidat), ]

要删除<NA>ID 中的条目（第一列变量），我使用以下几个之一：

combidat <- combidat[!is.na(combidat$ID),]
combidat <- combidat[complete.cases(combidat[ , 1]),]
combidat <- combidat[rowSums(is.na(combidat)) != ncol(combidat),]

我还发现：

combidat <- combidat[-which(apply(combidat,1,function(x)all(is.na(x)))),]

但我不能使用这种方法。如果我这样做combidat就会变得空虚。

如果我检查结果：

combidat[is.na(combidat$ID),]

我得到：

 [1] ID            ATA            ATD            object
<0 rows> (or 0-length row.names)

但是，如果我检查不一致之处，即到达时间之前的出发时间：

combidat[(ATD<ATA),]

我得到：

               ID                      ATA                       ATD    object
233      51586002      2016-03-14 09:44:00       2016-03-14 09:00:00    car718
798      54846070      2016-06-19 01:37:00       2016-04-07 23:59:00    car276
4126     56066767      2016-03-31 14:00:00       2016-03-30 07:00:00    car089
NA             NA                     <NA>                      <NA>        NA
NA.1           NA                     <NA>                      <NA>        NA
NA.2           NA                     <NA>                      <NA>        NA
NA.3           NA                     <NA>                      <NA>        NA
NA.4           NA                     <NA>                      <NA>        NA
NA.5           NA                     <NA>                      <NA>        NA
NA.6           NA                     <NA>                      <NA>        NA
NA.7           NA                     <NA>                      <NA>        NA

我希望得到的是：

               ID                      ATA                       ATD    object
233      51586002      2016-03-14 09:44:00       2016-03-14 09:00:00    car718
798      54846070      2016-06-19 01:37:00       2016-04-07 23:59:00    car276
4126     56066767      2016-03-31 14:00:00       2016-03-30 07:00:00    car089

任何解释我做错了什么以及如何纠正它，将不胜感激。

[添加 2019 年 6 月 28 日] 导入的 csv 文件出现问题。以某种方式在数据字段中返回换行符/回车，被解释为记录结束标记。我玩弄了“报价”：

df1 <- read.csv("data_1.csv", stringsAsFactors = FALSE, quote = "\"'")

这有一些影响，但我没有做对。

标签： rcsvdataframena

解决方案

正如 gdevaux 所指出的，也许你的“NA”是字符。在这种情况下，您可以使用 dplyr 包过滤数据（您也可以尝试使用 base R 进行过滤）：

library(dplyr)
combidat<- combidat%>% filter(!ID=="NA")

它也可能有空格，在这种情况下，您可以在导入中修剪或修剪列并重试上面的代码。

library(stringr)    
combidat<- combidat%>% 
      mutate(ID=str_trim(ID, side = "both"))%>%
      filter(!ID=="NA")

最后，您的 ID 列似乎只是由数字 ID 组成。在这种情况下，您可以将列设为数字，从而将 NA 值强制为实际 NA。

    combidat$ID<- as.numeric(combidat$ID)
combidat<- combidat%>% filter(!is.na(ID))

如果值是强制的，R 会告诉你。

推荐阅读