python - 验证准确率提高但验证损失也在增加

Question

我正在使用 CNN 网络将图像分类为 5 类。我的数据集大小约为 370K。我正在使用学习率 0.0001 和批量大小为 32 的 Adam 优化器。令人惊讶的是，我在各个时期的验证准确性都得到了提高，但验证损失却在不断增长。

我假设模型对验证集越来越不确定，但准确性更高，因为 softmax 输出的值大于阈值。

这背后的原因是什么？在这方面的任何帮助将不胜感激。

标签： pythontensorflowmachine-learningneural-networkconv-neural-network

Answer 1

正如之前的评论所指出的，我认为这是一个过度拟合的例子。过度拟合可能是数据集中高方差的结果。当你训练 CNN 时，它显示了一个很好的减少训练误差的比例，从而产生了一个更复杂的模型。更复杂的模型会产生过拟合，当验证误差趋于增加时可以注意到。

Adam 优化器负责学习率、指数衰减以及模型的总体优化，但不会对过度拟合采取任何措施。如果你想减少它（过度拟合），你需要添加一种正则化技术，该技术将惩罚模型中权重的大值。

您可以在深度学习书中阅读更多详细信息：http: //www.deeplearningbook.org/contents/regularization.html