machine-learning - 反向传播和梯度下降的简短定义
问题描述
我需要写一个非常简短的反向传播和梯度下降定义，我有点困惑有什么区别。
下面的定义是否正确？：
为了计算神经元网络的权重，使用了反向传播算法。这是一个减少模型误差的优化过程。该技术基于梯度下降法。相反，每个权重对总误差的贡献是从输出层跨所有隐藏层到输入层计算的。为此，计算误差函数 E 对 w 的偏导数。生成的梯度用于调整最陡下降方向的权重：
w_new = w_old - learning_rate* (part E / part w_old)
有什么建议或更正吗？
谢谢！
解决方案
第一梯度下降只是执行反向传播的方法之一，除此之外，您的定义是正确的。我们只是将生成的结果与期望值进行比较，并尝试改变分配给每条边的权重，以使误差尽可能低。如果更改后错误增加，它会恢复到以前的状态。您选择的学习率不能太低或太高，否则会导致梯度消失或梯度爆炸问题，您将无法达到最小误差。