keras - 何时在 Keras 模型中使用偏差？

Question

我是使用 Keras 建模的新手。我正在尝试评估设置模型的适当参数。我怎么知道你何时使用偏见与何时关闭它？

标签： kerasneural-networkdeep-learninghyperparametersbias-neuron

Answer 1

简短的回答是，当你的模型很小时，总是使用偏差变量。否则，仍然建议在所有神经网络架构中继续使用偏差。

因为每个神经元的表现就像一个简单的逻辑回归。在每个神经元中，输入值乘以权重，偏差会影响 sigmoid 函数中的初始水平，从而产生所需的非线性。

例如，如果您的训练数据中的输入为零，例如在 sigmoid 函数中X = [[0,0,...], [0,0,...],... ] , Y = 1，则输出将始终完全为 0。然而，在大型网络中，每个节点都可以从其所有输入的平均激活中生成一个偏置节点。Y=0.5X*W