python - 为什么重新函数占用这么多内存

Question

我在笔记本电脑上加载了一个占用 4G 内存的数据文件（3400 万行句子）。

在我进行预处理时，处理了 200 万个句子后，内存增加了 1.5G。

count = 0
for line in lines:
    lines[count] = re.findall(r"[\w']+|[().,:!?;'$&]", line)
    count += 1
    if count % 100000 == 0:
        print(count)
        gc.collect()

有人可以解释为什么以及如何优化它吗？

标签： pythonmemoryoptimization