python - 如何在 Python 中有效地保存/加载稀疏列表的字典？

Question

我有一个带有一百万个键的字典，每个值都是一个 10000-dim 稀疏列表，例如，

dic = {'a': [0] * 10000, 'b': [0] * 1234 + [1, 2] + [0] * 8764, ...}

通过 pickle 转储对象效率不高，因为它需要大量磁盘空间。有没有一种方法/包可以有效地保存/加载这种对象？

标签： pythonsparse-matrixpickle

Answer 1

只需将列表对象替换为scipy 稀疏矩阵（例如，使用 csr 矩阵）。