python - 训练集和测试集的准确率突然下降，损失突然上升，但慢慢恢复

Question

在训练LSTM模型的过程中，我原本固定的学习率是0.0001，但是在训练过程中会周期性的经历损失的增加和准确率的下降，如下图。 在此处输入图像描述

我认为样本不好，但我在多个库上都有这个问题。我考虑使用学习率衰减并修改 Adam 优化器的 beta 值。虽然减震解决了，但性能会大打折扣。

在此处输入图像描述

所以想请教以下几个问题： 1、为什么我可以通过修改beta来解决这个问题，却导致准确率下降？2.如果是坏样本，为什么在多个数据库中都会出现这个问题？（ps：我用同样的方式提取特征，可能是因为这个吧？）会不会是模型的原因？3. 如果我想删除坏样本怎么办？

标签： pythontensorflow

Answer 1

我认为有2点：1.检查你的BN参数设置，如果你用过BN。2. - https://discuss.gluon.ai/t/topic/3386