深度卷积网络原理—实例讲解梯度下降法参数更新过程

 首先，先回顾梯度下降公式：（下面利用均方差MSE损失来进行演示）

          

梯度下降的训练公式：

 

 接下来，按照上面的公式进行求最大值的案例讲解

  令，学习速率为0.1，初始化参数w₁=0，w₂=0，b=0

 样本一：x₁=0.1，x₂=0.8

 输出：

OUT=w₁x₁ + w₂x₂ + b =0*0.1 + 0*0.8 + 0 = 0

期望输出=0.8

损失：

LOSS=(OUT-期望输出)²=(0 - 0.8)²=0.64

 

回顾此前的公式：

 

因此，新的权重：

 

继续看下一组样本：

输入：x₁=0.5，x₂=0.3

输出：

 

期望输出=0.5

 损失：

LOSS=(OUT-期望输出)² = (0.2064-0.5)² = 0.0862

 

得到新权重：

 

训练几百个样本后，参数w₁=0.5，w₂=0.5，b=0.166667