dask - Distributed.worker 内存使用率很高，但 worker 没有数据要存储到磁盘

Question

distributed.worker - WARNING - Memory use is high but worker has no data to store to disk.  Perhaps some other process is leaking memory?  Process memory: 3.91 GB -- Worker memory limit: 2.00 GB
distributed.worker - WARNING - Worker is at 41% memory usage. Resuming worker. Process memory: 825.12 MB -- Worker memory limit: 2.00 GB

当我尝试运行一段将算法应用于我拥有的数据集的代码时，会出现上述错误。在阅读了 https://distributed.dask.org/en/latest/worker.html上的文档后，我仍然不清楚这个错误会对这个应用程序的结果产生什么影响。这只会影响此代码的速度或效率，还是会影响我的结果？

标签： daskdask-distributed

Answer 1

该警告表示您的进程占用的内存比您所说的要多得多。在这种情况下，Dask 可能会暂停执行，甚至开始重新启动您的工作人员。

警告还说 Dask 本身没有保留任何数据，因此它可以做的事情不多（比如删除它的数据）。我的猜测是您正在使用的某些库占用了大量内存。您可能希望使用内存超过 2GB 的 Dask 工作程序。