python - 如何加快 pandas 将数据帧保存到 csv 的速度？

Question

有什么方法可以加快保存过程。我有一个仅包含 600,000 行的数据框，我的程序在保存文件时卡住了大约 8 个小时，然后我才因为沮丧而退出程序。Pandas 将在 45 秒内成功保存一个包含 50,000 行的数据框，但由于某种原因，这个有点大的数据框让它出错了。我知道它肯定是使程序变慢的 pandas to_csv 命令。这是一些代码：df.to_csv(mes_csv + "_copy.csv.gz", chunksize=100000, header=True, compression='gzip', encoding='utf-8')

标签： pythonpandasperformancecsv

Answer 1

您也可以尝试羽毛或镶木地板格式。基本原理：保存和重新加载文件的速度，以及压缩（对于镶木地板）。

df.to_feather('test.feather')

df.to_parquet('test.hd5')

文档在这里：

• https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#feather
• https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#parquet