neural-network - 具有softmax数学偏导数的交叉熵损失函数的反向传播

Question

我正在尝试使用输出层中的交叉熵成本/损失函数和 softmax 激活函数来解决反向传播算法的数学问题。

3-class分类的网络架构如下：

输入层有两个输入神经元（i1 和 i2）

有一个隐藏层有 3 个神经元（h1、h2 和 h3）

输出层有 3 个输出神经元（o1、o2 和 o3）。这些输出分数或 logits 被输入到 softmax 函数中，然后输出概率（S1、S2 和 S3）。

我附上了一张手绘图像，用于神经网络的视觉表示。

w1 是从隐藏神经元 h1 到输出神经元 o1 的权重。

w13 是从输入神经元 i1 到隐藏神经元 h1 的权重。

我提出的数学偏导方程是：

或者：

其中，S_1 指第一类的 softmax 输出，out_o1 指第一个输出神经元的输出，net_01 指输出神经元 o1 的网络输入。

我的数学偏导方程正确吗？

另外，我希望计算以下的偏导数：

方程应该是什么样的？

谢谢！

标签： neural-networkgradient-descentbackpropagation