machine-learning - 梯度下降算法，我也应该标准化参数吗？

Question

我对归一化和梯度下降有一些疑问，但我无法弄清楚：

• 除了样本之外，我应该规范化参数吗？

• 如果我在执行梯度下降之前对参数进行归一化，我是否也应该对结果参数进行反归一化？

先感谢您。

标签： machine-learningregressionnormalizationgradient-descent

Answer 1

您要在模型中训练的参数通常在运行梯度下降之前初始化。

如果您使用的是 pytorch 或 tensorflow 之类的框架，则会有一个名为“init”之类的模块，它具有初始化参数的方法。参数可以安全地从正态分布中提取，但也可以使用许多其他分布。

模型的输出通常不会对应于“真实”数量（除非您想做所谓的“回归”）。通常，您会想要输出诸如属于某个类别的概率之类的内容（例如：狗、猫或狮子）。在这种情况下，输出元素的值应该介于 0 和 1 之间。这通常通过所谓的softmax层来实现。