首页 > 解决方案 > 为什么 fread() 花了这么长时间?(R 4.0.3)

问题描述

我以前几乎只在导入高达 3.6 的数据时使用data.table's ,现在突然要花更多时间(1 小时以上,过去需要大约 10 分钟)来导入与我几个月打开的数据集大小和性质相似的数据集前。有谁知道为什么会这样?我喜欢并想继续使用它,所以解决方案会很棒。fread()fread()data.tabledata.table

另外,我不是 100% 确定这完全是 R 4.0,但我想不出任何其他原因。我在一个相当旧的服务器(Windows Server 2008 Enterprise)上运行 R,所以这也可能与它有关(尽管几个月前我说过它工作得很好)。

编辑:CPU 利用率总体低于 15%,并且在任何持续负载下都没有内核。

EDIT2:再现性:

数据库是 40GB(服务器有 300GB+ 的 RAM)我愿意接受关于如何在此处重现此内容的建议。我没有对我的代码做任何其他事情,这是迄今为止我的脚本的全部内容:

library(data.table)
data <- fread("mydata.csv")

首次加载data.table控制台时说data.table 1.13.2 using 12 threads ...

标签: roptimizationimportdata.table

解决方案


推荐阅读