neural-network - 神经网络中的所有神经元不是总是激发/激活吗？

Question

我对激活函数和不断提到神经元未激活或未触发的博客/帖子感到有些困惑。

但是从数学上讲，如果任何激活函数（无论是 sigmoid、tanh、relu）计算出的输出为 0，那么该值是否仍然赋予下一层中所有连接的神经元？如果是这样，那是不是意味着这个神经元仍在放电/激活？

还是我完全错了，神经元真的没有放电，它真的没有为下一层的任何连接的神经元提供任何价值？这在数学上是如何工作的？

请帮我解决我的困惑:)

标签： neural-networkactivation-function

Answer 1

诸如未激活和未触发之类的表达，以及术语神经元本身，只是比喻性的描述，不应从表面上理解。它们仅用于口头描述机器学习中使用的（人工）神经网络与生物的实际神经网络之间的（非常）松散的类比，但仅此而已。

正如您正确怀疑的那样，在这种情况下，“神经元”确实产生了输出值 0 并在网络中传播。因为，实际上，那里没有任何神经元，只是计算机程序中的变量，出于数学和计算的原因，这些变量必须始终具有值。