首页 > 解决方案 > 如何在 python 中读取一个巨大的 csv 压缩文件?

问题描述

我有一些非常大的 .zip 文件。每个包含 1 个巨大的 .csv。

当我尝试读入它时,要么出现内存错误,要么一切都冻结/崩溃。

我试过这个:

zf = zipfile.ZipFile('Eve.zip', 'r')
df1 = zf.read('Eve.csv')

但这会产生 MemoryError。

我做了一些研究并尝试了这个:

import zipfile
with zipfile.ZipFile('Events_WE20200308.zip', 'r') as z:
    with z.open('Events_WE20200308.csv') as f:       
        for line in f:
            df=pd.DataFrame(f)
            print(line)

但我无法将其放入数据框中。

请问有什么想法吗?

标签: pythonzip

解决方案


推荐阅读