r - R：导入数百万个小的字母数字 csv 文件

Question

我有大约 300GB 的 15KB csv 文件（每个文件正好有 100 行），我需要将它们导入、连接、操作和重新保存为单个 rds。

我已经设法通过仅导入我需要的列来减少所需的 RAM 量，但是一旦我需要对列进行任何操作，我就会将其最大化。

你对这类问题的策略是什么？

标签： r

Answer 1

您还可以使用disk.frame库，它旨在允许处理大于 RAM 的数据。然后，您可以像在 data.table 中或使用 dplyr 动词一样操作数据。