时间戳

首页 > 解决方案 > 当我在使用 Dask-ML 时不断超出使用的内存时我该怎么办

python - 当我在使用 Dask-ML 时不断超出使用的内存时我该怎么办

问题描述

我正在使用 Dask-ML 运行一些代码，这些代码在训练期间使用了相当多的 RAM 内存。训练数据集本身并不大，但它在训练期间使用了相当多的 RAM 内存。即使我尝试使用不同的值，我仍然收到以下错误消息n_jobs：

distributed.nanny - WARNING - Worker exceeded 95% memory budget. Restarting

我能做些什么？

Ps：我也尝试过使用 Kaggle Kernel（它允许高达 16GB 的 RAM），但这没有用。所以我现在正在尝试 Dask-ML。我也只是使用其默认参数值连接到 Dask 集群，代码如下：

from dask.distributed import Client
import joblib

client = Client()

with joblib.parallel_backend('dask'):
    # My own codes

标签： pythonmemorymemory-managementdaskdask-distributed

解决方案

Dask 有一个关于帮助内存管理的技术的详细页面。您可能还对配置溢出到磁盘 Dask 工作人员感兴趣。例如，宁可

推荐阅读