python - 如何在训练过程中查看 PyTorch 中的 weight_decay 损失？

Question

我在 PyTorch 中使用 Adam 优化器训练模型并将weight_decay参数设置为 1.0。

optimizer = optim.Adam(model.parameters(), lr=args.lr, weight_decay=1.0)
optimizer.zero_grad()
loss.backward()
optimizer.step()

如果我想比较损失的数量weight_decay和模型损失，我如何查看造成的损失的价值weight_decay？

标签： pythondeep-learningpytorch

Answer 1

你熟悉 L2 正则化吗？如果没有，你可以学习它。我觉得这个教程很有帮助。

L2 正则化和权重衰减之间存在细微差别，即：

权重衰减通常定义为直接添加到更新规则的术语。另一方面，L2 正则化项被添加到损失函数中。

您可能会发现本教程有助于研究权重衰减和 L2 正则化之间的差异。

[更新] Andrew Ng 教授的讲座非常有帮助。