python - 在执行期间跟踪python脚本中的内存消耗

Question

我有大量先前获得的数据（> 500 GByte），并希望使用 Python（或其他语言，如有必要）对其进行处理。我不能一次将所有数据加载到内存中（由于显而易见的原因），因此只能加载小块。我已经尝试通过显式清除每个块之间所有生成的列表和数组来尽可能优化内存消耗，但我仍然可以看到内存消耗稳步增加。
有没有办法跟踪我在什么时候没有释放内存，以及我的内存在什么时候积累？这里最好的策略是什么？

标签： pythonmemory-management

Answer 1

从 python3.4 开始，可以使用 tracemalloc 模块。