neural-network - 如果我有计算负值的激活函数怎么办？

Question

我有一个关于激活函数的神经网络的相当简单的问题。对于给定的训练示例，主要是所有激活都具有正 y 值

y = A(WX + b) 其中，对于较大的值，y 在某种程度上总是为正。

现在我的问题是如果我的激活有点像这样会发生什么

y = - (2, x)

如果我使用这个激活函数，或者可能是一个对所有正 x 值沿负 y 方向移动的激活函数，神经网络中会发生这种情况。

请您的回答将不胜感激。

提前致谢

标签： neural-networkartificial-intelligence

Answer 1

如果在一个现有的、已经训练好的神经网络中，如果你选择其中一个节点并改变它的激活函数，那么你可能不会得到你期望的结果。如果您从头开始训练并使用 sigmoid 等激活函数（y 范围为 -1 到 1），那么在训练后很可能会发生对于某些节点，激活函数在所有正的负 y 方向上移动x 值。这完全取决于训练决定的 W 和 b 参数。在这种情况下，神经网络将正常运行并给出预期的结果，不会因为激活函数在正输入时向负方向移动而出现问题。