python - 连接来自不同泡菜文件的内容的最节省内存的方法

Question

读取多个泡菜文件并连接它们时出现内存错误：

train_data = numpy.concatenate([read_p(fn) for fn in train_data_filenames], axis=0)

wheretrain_data_filenames只是作为字符串的文件名列表。

我的辅助功能read_p(fn)如下：

def read_p(filename):
    with open(filename, "rb") as f:
        return pickle.load(f)

有没有更有效地执行连接的方法？

标签： pythonpython-3.xnumpypickle