动量是指在原来的梯度下降基础上,将现在的梯度方向与历史梯度方向融合,根据超参数调节权值,让梯度更缓和并且有可能跳出局部极小值
代码实现:
学习率的动态改变:
Dropout 丢弃一些参数,简化模型,减轻过拟合:
因为训练时才需要dropout,所以要区分train还是test(val也属于test)
cxhzy 2020-09-20 22:09 原文
动量是指在原来的梯度下降基础上,将现在的梯度方向与历史梯度方向融合,根据超参数调节权值,让梯度更缓和并且有可能跳出局部极小值
代码实现:
学习率的动态改变:
Dropout 丢弃一些参数,简化模型,减轻过拟合:
因为训练时才需要dropout,所以要区分train还是test(val也属于test)