r - 尽管在 R 中使用了磁盘帧，但仍然无法分配大小向量

Question

我一直在尝试使用磁盘框架来加载大约 45 gbs 的文件。我使用下面的代码将 csv 转换为磁盘帧：

output_path = file.path(tempdir(), "tmp_cars.df")

disk <- csv_to_disk.frame("full-drivers.csv", outdir = output_path, overwrite = T, header = T)

但是，我不断得到：

"Error: cannot allocate vector of size 369.8 MB"

或与 739.5 MB 相同的错误。

我尝试加载第二个较小的 csv 文件，以查看它是否有效并且确实有效。第二个文件与大文件相同，但只有前 1000 行。除了 Rstudio 和 chrome 之外的所有其他程序都已关闭，因为我正在在线寻找解决方案。我的电脑有 16 GB 的内存，我很困惑为什么这么小。跑步memory.limit()给了我16344。

有没有办法可以加载我的第一个文件而不会出现矢量错误？

标签： rcsvdisk.frame