时间戳

首页 > 解决方案 > Python中read_csv的内存错误

python - Python中read_csv的内存错误

问题描述

当我尝试读取 csv 文件时，我在 Python 中面临 dtype 警告。我检查了类似的问题，为 dtype 提供值没有帮助，它给出了相同的警告和内存错误。我正在使用房利美性能数据集，为混合类型找到的列是空值或格式为 mm/yyyy 的年份。首先我把它们放在 str 上，然后放在 object 上，但没有这些帮助。难道是文件太大（443,15MB），我的电脑无法处理？我有 2 GHz 的核心 2 双核处理器和 3 Gb RAM 内存。

这是导致问题的一段代码

data=pd.read_csv(os.path.join(settings.DATA_DIR,f),header=None,names=HEADERS[prefix],sep='|',index_col=False,
                         dtype={"zero_balance_date": str, "last_paid_installment_date": object, "foreclosure_date": object})

这是警告：

DtypeWarning：列 (15,16) 具有混合类型。在导入时指定 dtype 选项或设置 low_memory=False。

推杆low_memory=False也不起作用。

标签： pythonpandascsvmemory

解决方案

推荐阅读