时间戳

首页 > 解决方案 > 在对示例进行训练后，神经网络损失增加是否正常？

python - 在对示例进行训练后，神经网络损失增加是否正常？

问题描述

我目前正在测试 LSTM 网络。我在反向传播之前和反向传播之后在训练示例上打印其预测的损失。后损失应该总是小于前损失是有道理的，因为网络只是在那个例子上训练的。

但是，我注意到在第 100 个训练示例左右，网络开始在反向传播之后给出比在训练示例上反向传播之前更不准确的预测。

是否期望网络始终具有前损失高于后损失？如果是这样，是否有任何原因发生这种情况？

需要明确的是，对于前一百个示例，网络似乎训练正确并且做得很好。

标签： pythonmachine-learningneural-networklstmrecurrent-neural-network

解决方案

你的数据集被洗牌了吗？否则，它可能会为前 99 个示例预测一个类别。如果不是，那么 LSTM 可能很难训练。尝试更改超参数，我也建议从 SimpleRNN、GRU 和 LSTM 开始，因为有时一个简单的网络可能就可以解决问题。

推荐阅读