python - Joblib 持久性和 Pandas

Question

关于使用内存映射文件在 Joblib 中持久化 Numpy 数组有很好的文档。

在最近的版本中，Joblib 将（显然）以这种方式自动持久化和共享 Numpy 数组。

Pandas 数据帧也会被持久化，还是用户需要手动实现持久化？

标签： pythonpython-3.xpandasparallel-processingjoblib

Answer 1

由于 Pandas 数据帧是基于 Numpy 数组构建的，是的，它们将被持久化。

Joblib 通过与 pickle 协议挂钩来实现其优化的持久性。任何在其腌制表示中包含 numpy 数组的东西都将受益于 Joblib 的优化。