python - 出现异常时 pandas 的内存泄漏

Question

我在 Jupyter Lab 中运行了一些围绕 pandas 的库。

底层数据帧非常大（RAM 中只有几 Gb），并且在将子部分连接在一起之前，很多处理都基于数据帧子部分的迭代。

在使用试验/错误进行开发时，迭代会在数据帧的子部分的极端情况下引发异常。但是，每次引发异常时，我都会看到内存使用量开始增加（htop），因此在引发太多异常后我必须重新启动内核。

对于最新的异常， sys.last_traceback 保留那些大对象的句柄（对于最新的异常），所以我假设我的大结构的句柄被保存在某个地方，而不仅仅是最新的异常。

知道在哪里挖吗？

标签： pythonpandasmemory-leakspandas-groupbyjupyter