python - 运行函数后强制释放内存
问题描述
我使用了一个模块(我无法修改),其中包含我需要使用的方法。此方法返回 10GB 的数据,但也分配了 8GB 的内存,它不会释放。我需要在一个长时间运行的脚本开始时使用这个方法,并且我想确保在我运行该方法后释放 8GB 的内存。我在这里有什么选择?
需要明确的是,脚本不会重用 8GB - 即,如果我在运行该方法后创建了一个大型 numpy 数组,则会为该 numpy 数组分配额外的内存。
我考虑过使用 multiprocessing 模块在单独的进程中运行该方法(并返回结果),但在序列化该方法的大结果时遇到问题 - 默认pickler无法腌制 10GB,即使我强制使用 multiprocessing pickle 版本 4 酸洗具有非常大的内存开销。如果不能修改有问题的模块,我还能做些什么吗?
编辑:这是一个例子
from dataloader import dataloader1
result = dataloader1.get("DATA1")
据我了解,dataloader 是使用 pybind11 围绕一些 C++ 代码的 Python 包装器。我对它的内部运作了解不多。上面的代码导致使用 18GB。如果我再跑
del result
10GB 被正确释放,但 8GB 继续使用(似乎不再存在 python 对象)。
Edit2:如果我创建一个较小的 numpy 数组(例如 3GB),内存使用量将保持在 8GB。如果我删除它并创建一个 6GB 的 numpy 数组,则内存使用量将达到 14GB,并在我删除它后又回到 8GB。我仍然需要发布到操作系统的 8GB。
解决方案
可以修改功能吗?如果内存被某个模块占用,请尝试重新加载该模块(importlib.reload),这应该会释放内存。
推荐阅读
- django - 如何检查文件是否为csv?
- android - 无法在内部目录中创建文件夹
- c# - C# Class Library throws FileNotFoundException while trying to load another library
- javascript - 使用父按钮 React 从子触发表单提交
- mongodb - 连接到 mongo db 的 Spring 应用程序问题
- java - 使用 Java Socket 传输图像
- ansible - ansible - 如何将一个简单的角色放入一个文件中(至少对于文档)
- docker - Dockerize pgAdmin - CSRF 令牌不匹配
- c# - 缓冲后的反应式过滤器、拆分和延迟
- neo4j - 子查询中的 Neo4j“变量未定义”错误 - 看不到外部变量