时间戳

首页 > 解决方案 > 处理大型数据集的内存效率

python - 处理大型数据集的内存效率

问题描述

我有一个像这样的数据集（真实数据有更多的列和数百万行：

data = {'stringID':['AB CD Efdadasfd','RFDS EDSfdsadf dsa','FDSADFDSADFFDSA'],'IDct':[1,2,3]}
data = pd.DataFrame(data)
data['Index1'] = [[3],[7,9],[5,6,8]]
data['Index2'] = [[4],[10,13],[8,9,10]]

列表在这里具有动态长度，我正在尝试使用列表中的索引对字符串进行切片，以下脚本有效，但是在处理数百万行数据时会消耗大量内存，并且 python 不会自动将内存返回给系统导致运行整个脚本的问题。

data['Output1'] = [x[y[0]:z[0]] for x,y,z in data[['stringID','Index1','Index2']].to_numpy()]
data.loc[data['IDct']>1,'Output2'] = [x[y[1]:z[1]] for x,y,z in data[data['IDct']>1][['stringID','Index1','Index2']].to_numpy()]
data.loc[data['IDct']>2,'Output3'] = [x[y[2]:z[2]] for x,y,z in data[data['IDct']>2][['stringID','Index1','Index2']].to_numpy()]

我正在尝试 gc.collect() 但在释放内存方面效果不佳。在脚本中的每个步骤之后，运行相同计算的内存有效方式或将内存释放回系统的方式是什么？请多多指教，谢谢。

标签： pythonloopsmemorylarge-data

解决方案

推荐阅读