r - 为什么 fread() 花了这么长时间?(R 4.0.3)
问题描述
我以前几乎只在导入高达 3.6 的数据时使用data.table
's ,现在突然要花更多时间(1 小时以上,过去需要大约 10 分钟)来导入与我几个月打开的数据集大小和性质相似的数据集前。有谁知道为什么会这样?我喜欢并想继续使用它,所以解决方案会很棒。fread()
fread()
data.table
data.table
另外,我不是 100% 确定这完全是 R 4.0,但我想不出任何其他原因。我在一个相当旧的服务器(Windows Server 2008 Enterprise)上运行 R,所以这也可能与它有关(尽管几个月前我说过它工作得很好)。
编辑:CPU 利用率总体低于 15%,并且在任何持续负载下都没有内核。
EDIT2:再现性:
数据库是 40GB(服务器有 300GB+ 的 RAM)我愿意接受关于如何在此处重现此内容的建议。我没有对我的代码做任何其他事情,这是迄今为止我的脚本的全部内容:
library(data.table)
data <- fread("mydata.csv")
首次加载data.table
控制台时说data.table 1.13.2 using 12 threads ...
解决方案
推荐阅读
- amazon-web-services - 无论如何要告诉哪个云提供商当前的 k8s 集群正在运行?
- java - 构建 Gradle 本地依赖
- python - Gunicorn.service 无法读取 Python3.6 库
- html - 画布和 HTML 之间的文本对齐方式不同
- javascript - React Class 中的“TypeError:Class extends value undefined is not a constructor or null”问题
- android - 如何从主 Activity 更改片段的 textView 的大小?
- android - 几天后,Android WebView 崩溃并显示内存不足消息
- php - 使用 PHP 从非图片文件中删除元数据
- php - Wordpress/PHP:如何将类添加到子标签
- javascript - 节点JS | 根据名称和日期差异对项目进行分组