时间戳

首页 > 解决方案 > 使用熊猫打开 CSV 文件时出现内存错误

pandas - 使用熊猫打开 CSV 文件时出现内存错误

问题描述

我尝试用 pandas 打开一个 CSV 文件，但出现 MemoryError。该文件约为300mb。当我使用较小的文件时，一切正常。

我正在使用具有 64GB RAM 的 Windows 10。我已经尝试在 Pycharm 中更改自定义 VM 选项（“帮助”>>“编辑自定义 VM 选项”）并设置更高的内存数量，但它仍然不起作用

import pandas as pd

df = pd.read_csv('report_OOP_Full.csv')

# I tried to add the following line but doesnt help
# df.info(memory_usage='deep')

MemoryError: 无法为形状 (14, 3216774) 和数据类型 float64 的数组分配 344.MiB

进程以退出代码 1 结束

标签： pandas

解决方案

这可能不是最有效的方法，但试试吧。根据您的 RAM 可用性减少或增加块大小。 

chunks = pd.read_csv('report_OOP_Full.csv', chunksize=10000)
i = 0
chunk_list = []
for chunk in chunks:
    i += 1
    chunk_list.append(chunk)
    df = pd.concat(chunk_list, sort = True)

如果这不起作用。试试这个：

chunks = pd.read_csv('report_OOP_Full.csv', chunksize=10000)
i = 0
chunk_list = []
for chunk in chunks:
    if i >= 10:
        break
    i += 1
    chunk_list.append(chunk)
    df1 = pd.concat(chunk_list, sort = True)


chunks = pd.read_csv('report_OOP_Full.csv', skiprows = 100000, chunksize=10000)
i = 0
chunk_list = []
for chunk in chunks:
    if i >= 10:
        break
    i += 1
    chunk_list.append(chunk)
    df2 = pd.concat(chunk_list, sort = True)


d3 = pd.concat([d1,d2], sort = True)

skiprows 是根据前一个数据帧读入的行数计算的。
这将在加载 10 个块后中断。将此存储为 df1。并从块 11 开始再次读取文件，然后再次附加。

我了解您正在处理一些大数据。我鼓励你看看我发现的这个函数。下面的链接解释了它是如何工作的。此功能的功劳在这里： 功劳

def reduce_mem_usage(df):
    start_mem = df.memory_usage().sum() / 1024**2
    print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))

    for col in df.columns:
        col_type = df[col].dtype
    if col_type != object:
            c_min = df[col].min()
            c_max = df[col].max()
            if str(col_type)[:3] == 'int':
                if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
                    df[col] = df[col].astype(np.int8)
                elif c_min > np.iinfo(np.uint8).min and c_max < np.iinfo(np.uint8).max:
                    df[col] = df[col].astype(np.uint8)
                elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
                    df[col] = df[col].astype(np.int16)
                elif c_min > np.iinfo(np.uint16).min and c_max < np.iinfo(np.uint16).max:
                    df[col] = df[col].astype(np.uint16)
                elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
                    df[col] = df[col].astype(np.int32)
                elif c_min > np.iinfo(np.uint32).min and c_max < np.iinfo(np.uint32).max:
                    df[col] = df[col].astype(np.uint32)                    
                elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:
                    df[col] = df[col].astype(np.int64)
                elif c_min > np.iinfo(np.uint64).min and c_max < np.iinfo(np.uint64).max:
                    df[col] = df[col].astype(np.uint64)
            else:
                if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
                    df[col] = df[col].astype(np.float16)
                elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
                    df[col] = df[col].astype(np.float32)
                else:
                    df[col] = df[col].astype(np.float64)

    end_mem = df.memory_usage().sum() / 1024**2
    print('Memory usage after optimization is: {:.2f} MB'.format(end_mem))
    print('Decreased by {:.1f}%'.format(100 * (start_mem - end_mem) / start_mem))
return df

这将确保您的数据框在使用它时使用尽可能低的内存。

推荐阅读