时间戳

首页 > 解决方案 > 有什么方法可以让 SciKit-Learn 使用硬盘吗？

python - 有什么方法可以让 SciKit-Learn 使用硬盘吗？

问题描述

一般来说，我对 scikit-learn 和机器学习很陌生。我有一个包含 140,565 行和 17 列的数据集。我正在使用运行随机森林模型的其他人的代码，在具有 2.7GHz 处理器、4GB RAM、Windows 10 的机器上。

显然 4GB RAM 是不够的，我无法升级这个系统（超极本）。它里面有一个SSD。有没有办法将 scikit 配置为使用硬盘驱动器而不是 RAM（更多空间以牺牲速度为代价）？

标签： pythonscikit-learn

解决方案

据我所知，您仍然需要内存，从磁盘读取和写入对于 sklearn ML 任务是不可能的（您需要尝试其他软件），您可以尝试使用下面列出的策略来适应内存，但仅限于哪些算法您可以实现：使用核外学习扩展实例

在这种情况下，性能和结果将受到影响，并且批次大小也会影响结果。

注意：对于磁盘的读取和写入更适合 SAS 和 hadoop(map-reduce)，但 sklearn 需要 RAM。

推荐阅读