python - 加载模型后学习性能提升

Question

我正在训练一个 LSTM 模型，该模型通常会达到平稳状态并且无法完全收敛（大约十分之一在初始运行中收敛）。但是，如果我加载预训练模型，即使不调整学习率，也总会立即获得巨大的学习改进。这是什么原因造成的？即使在第一次运行中算法在 60 多个 epochs 中停滞不前，为什么会有巨大的性能提升？我使用了默认学习率的 Adam 优化器。

初始训练的损失函数

加载模型后的损失函数

标签： pythonkerasmodelload