python - numpy.load() MemoryError 而数据只有 4.6MB 大

Question

我构建了一个数据集，其中包含存储在 numpy 数组中的列表。对于某些文件，当我的 RAM 中仍有 8gb 时出现内存错误。培训文件只有 4.5 mb 大，我正在尝试将内容附加到另外两个列表中。我在 Windows 7 上使用 Python 3.6.7，numpy 版本是 1.15.4。

下载此文件以重新创建情况（错误消息）

一个可以打开的文件的下载链接

这个文件填满了整个 RAM

import numpy as np

test_x=[]

test_y=[]

file= np.load("training_data/6411-0.01848-6-1545931005000.npy")

for d in file:

   test_x.append(np.array(d[0]))

   test_y.append(d[1])


File "D:\Program Files\Halite3_Python3_Windows-AMD64\try.py", line 13, in <module>
file = np.load("training_data/6416-0.02775-6-1545941239000.npy")
File "C:\Users\Fred\AppData\Local\Programs\Python\Python36\lib\site-packages\numpy\lib\npyio.py", line 433, in load
pickle_kwargs=pickle_kwargs)
File "C:\Users\Fred\AppData\Local\Programs\Python\Python36\lib\site-packages\numpy\lib\format.py", line 657, in read_array
array = pickle.load(fp, **pickle_kwargs)
MemoryError

标签： pythonpython-3.xnumpy