时间戳

首页 > 解决方案 > 在 python 字典中高效加载多个 Keras 模型

python - 在 python 字典中高效加载多个 Keras 模型

问题描述

我有大约 120 个模型经过训练并存储在多个文件夹中。我正在尝试将这些模型加载到字典中，以便针对它们的用例进行预测。

但问题是，由于字典变得太大，加载这些模型以及预测输出都需要时间。

有没有更有效的方法来加载这些模型而不是在 python 字典中？我什至尝试将这 120 个模型加载到 12 个不同的字典中，但加载和预测仍然需要大量时间。

但问题是，由于字典变得太大，加载这些模型以及预测输出都需要时间。

model = {}
for _ in tqdm(os.listdir("wts_deep")):
    try:
        int(_[0])
        list_of_models = os.listdir("wts_deep/"+_)
        a = np.array([float(___.split("-")[3].split(".hdf5")[0]) for ___ in list_of_models])
        __ = np.where(a == a.max())[-1][-1]
        model[_] = load_model("wts_deep/"+str(_)+"/"+str(list_of_models[__]))
    except:
        print(_)

模型本身的加载大约需要 33 分钟

标签： pythontensorflowkeras

解决方案

我建议只保存模型权重，重新构建模型架构并加载权重。我也认为缓慢不是由于字典的使用。我认为这与 Keras 和/或运行模型的后端有关。如果您使用的是 Tensorflow，如果您尝试使用相同的会话和图形加载模型，您可能会遇到一些问题。

推荐阅读