deep-learning - 当数组的所有值都为零时，我们可以使用 softmax 激活吗？

Question

我有一个5 x 5 x 21数组。最后一个维度代表渠道。在少数通道中，只有一个像素值为1，其余值为0。对于其他通道，所有像素值为0. 我softmax在训练深度神经网络时沿空间维度应用激活。softmax即使所有值都为零，即沿空间维度的所有像素值的总和不等于 ，使用它是否是一个好主意1。

标签： deep-learningconv-neural-networksoftmax

Answer 1

我不确定是否理解你的问题。Softmax 应该应用在我们希望 [几乎] 在经过训练的网络中进行单热分布的地方。softmax 的输出定义了分布（总和等于 1），但对 softmax 的输入没有限制。如果将所有 0 传递给 softmax，您将得到均匀分布作为输出。

是否有意义取决于网络的目标