optimization - PyTorch - 通过滥用损失函数（负对数似然）获得卓越的模型性能？

Question

我误读了 PyTorch NLLLoss()，不小心将模型的概率传递给了损失函数，而不是模型的对数概率，这是函数所期望的。但是，当我在这种误用的损失函数下训练模型时，模型 (a) 学得更快，(b) 学习更稳定，(b) 损失更低，(d) 在分类任务中表现更好。

我没有一个最小的工作示例，但我很好奇是否有其他人经历过这个或知道这是为什么？有什么可能的假设吗？

我的一个假设是，关于误用损失函数的梯度更稳定，因为导数没有按 1/模型输出概率缩放。

标签： optimizationdeep-learningpytorchlog-likelihood