时间戳

首页 > 解决方案 > 在 Python 中附加数据帧时出现内存错误

python - 在 Python 中附加数据帧时出现内存错误

问题描述

我是 Python 和使用 pandas 数据框进行数据处理的新手。我想处理测量数据 (*.mf4)。这将通过使用包 asammdf 读入并创建一个 pandas 数据框。

我最初的尝试是使用字典对测量数据（单个文件）进行分组。为了对数据进行后处理，我总是要遍历字典来获取数据帧。我找到了这种groupby方法，并认为它可能比我的字典尝试更好。起初，我将数据框的行数限制为 10，它工作正常。现在使用完整大小的数据运行（行数 = 20000000），我在 pandas 数据框中出现内存错误。

*new_values = new_values[argsort]

内存错误*

的输出data_frame.info()给出以下内容：

RangeIndex: 18410041 entries, 0 to 18410040
Data columns (total 12 columns):
dtypes: float64(8), int16(1), int32(1), int64(2)
memory usage: 1.5 GB

应该创建大约 30 个 data_frames 并附加到一个。

from asammdf import MDF
import pandas as pd

data_mi = pd.DataFrame()

for file in mf4_files:

 with MDF(file) as mdf_file:
 data_frame = mdf_file.to_dataframe(channels=labels)  # export mdf-data

 speed = int(config_data[file][0])  # speed
 load = config_data[file][1]  # load

 data_frame = data_frame.assign(load=load,speed=speed)
 data_frame.reset_index(inplace=True)

#data_mi = data_mi.append(data_frame.iloc[:10])
 data_mi = data_mi.append(data_frame) #select all data in one data frame


data_mi_max = data_mi.groupby(['load','speed'],sort=False).max()

标签： pythondataframepandas-groupby

解决方案

您是否尝试使用 reduce_memory_usage 参数？https://asammdf.readthedocs.io/en/latest/api.html#asammdf.mdf.MDF.to_dataframe

推荐阅读