r - R内存分配与数据表一起使用

Question

我正在尝试使用数据表包将大型 csv 数据集（69GB）加载到 R 中。我很难rbindlist()将数据表对象列表合并到一个数据表中。我正在使用的机器有 64GB RAM，但我遇到了溢出问题，因为数据表对象的列表datlist大约是 32GB。有没有更有效的方法来管理这个？示例代码：

# read all csvs in a folder, create datatable
library(data.table)
datlist <- lapply(list.files("folderPath",pattern="*.csv$",recursive=TRUE,full.names=TRUE),fread)
data <- rbindlist(datlist, fill=TRUE)

标签： rdatatablelarge-data