r - 将大型 csv 加载到数据框中,同时保持列结构
问题描述
我正在尝试将一个包含大文件(总计 3500 万行)的文件夹加载到 R 中,并将其作为数据框。
我已经设法加载数据,尽管使用下面的代码确实需要 10/15 分钟,但是,问题是 csv 中的所有列都变成了 1 列。这是我的代码:
# Load files
temp = list.files(path ="D:/", pattern="*.csv", full.names = TRUE)
myfiles = lapply(temp, read.delim)
# Make Dataframe
df_list = lapply(seq(length(myfiles)),function(i){
df = as.data.frame(myfiles[i], stringsAsFactors = FALSE)
})
head(do.call(bind_rows,df_list))
df = as.data.frame(data.table::rbindlist(df_list, use.names=TRUE, fill=TRUE))
csv 的列可能如下所示:
|A|B|C|D1|E|
但是在我的数据框中输出如下:
|A.B.C.D1..E|
任何有关解决此维护列问题的帮助都会得到帮助。
解决方案
您可以使用它fread()
来更快地读取 csv 并rbindlist()
组合列表中的数据。两者都来自data.table
包装。
library(data.table)
# Load files
temp = list.files(path ="D:/", pattern="*.csv", full.names = TRUE)
使用fread()
代替read.delim()
:
myfiles = lapply(temp, fread)
由于没有提供可重复的数据:
df_list <- lapply(1:5, function(x) {
set.seed(x)
rows <- sample(1:32, 2)
mtcars[rows, ]
})
合并列表中的数据:
df <- rbindlist(df_list)
这是结果:
mpg cyl disp hp drat wt qsec vs am gear carb
1: 22.8 4 140.8 95 3.92 3.150 22.90 1 0 4 2
2: 16.4 8 275.8 180 3.07 4.070 17.40 0 0 3 3
3: 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1
4: 15.5 8 318.0 150 2.76 3.520 16.87 0 0 3 2
5: 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1
6: 27.3 4 79.0 66 4.08 1.935 18.90 1 1 4 1
7: 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2
8: 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4
9: 14.3 8 360.0 245 3.21 3.570 15.84 0 0 3 4
10: 15.5 8 318.0 150 2.76 3.520 16.87 0 0 3 2
推荐阅读
- r - 在 R 的循环中添加新行
- javascript - 当该选项的值为空时,Select 的值与选定的选项匹配
- redis - 您可以在 redis 运行时就地更新 redis 而不会导致任何停机吗?
- cisco - 使用 python 更改 cisco ios 描述 - excel 输入
- php - 仅返回缺少/不同数据的查询
- python-3.x - 如何使 selenium 线程运行(每个线程都有自己的驱动程序)
- java - 如何禁用 JavaFX HTMLEditor 的编辑?
- spring-security - 配置 ADFS / Spring Security 以接受未签名的 SAML AuthnRequest
- excel - 如何计算范围内的最佳玩家?
- python - 如何使用 python 模拟或委托 kerberos?