python - 更好的pythonic方式来处理非常大的python嵌套defaultdict？

Question

我正在构建一个嵌套的 defaultdict 数据结构，如下所示：

mydata = defaultdict(lambda: defaultdict(lambda: defaultdict(
    lambda: defaultdict(lambda: defaultdict(lambda: defaultdict(int))))))

逐行处理大文件时。对于每一行处理，我执行以下操作：

mydata[level_1][level_2][level_3][level_4][level_5][level_6] += 1

文件处理完成后，我会遍历嵌套的 mydata dict 进行进一步总结。问题是当文件太大时，dict 将使用所有内存并且变得不可行。您能否为我指出一个更好的解决方案来解决这个问题？

标签： pythonpython-3.xout-of-memorydefaultdict