python - 如何将大型数据集从 csv 读取到数据框中？

Question

遇到错误：ParserError：标记数据时出错。C错误：内存不足

尝试使用较小的 csv 文件，它可以工作，但不适用于较大的文件

import pandas as pd
LARGE_FILE =r'E:\Users\celine_chua\Downloads\flights.csv'


mylist2 = []
for chunk in  pd.read_csv(LARGE_FILE, sep=',', chunksize=1000):
    mylist2.append(chunk)

flights_df = pd.concat(mylist2, axis= 0)
del mylist2

标签： pythonpandascsv