python - 如何一次在 RAM 中保存包含数百万个字典的 python 列表？

Question

我将巨大的 csv 文件存储为字典列表，如下所示：

dictlist={ 1 : { 'col-1' : 'data-1','col-2' : 'data-2','col-3' : 'data-3'},
           2 : { 'col-1' : 'data-1','col-2' : 'data-2','col-3' : 'data-3'}}

其中键 1 和 2 是行号，值是 csv 文件中的数据。

我的问题是我需要转换具有超过 400 万行的 csv 文件。但是对于如此大量的数据，我的数据结构无法放入内存 (RAM)。

有人可以帮我找到一个解决方案，比如将数据结构存储到磁盘或其他东西。我需要一次使用整个数据结构。

提前致谢

标签： pythondictionarylarge-data

Answer 1

• 我已经通过使用 disklist 库解决了这个问题。
• 首先你需要使用 pip 安装 disklist 库（pip install disklist）
• 之后，您应该导入 disklist 并像 list (some_variable_name = disklist()) 一样使用它
• disklist 与 python 中的 list 几乎相同。但它将存储在磁盘空间而不是 RAM 中。