python - 如何检查 PyTorch 中的所有梯度权重是否为零？

Question

我想知道如何检查所有 PyTorch 神经网络梯度权重，看看它们是否为零，是否继续训练。

这可能看起来像PyTorch: How to check if some weights are not changed during training? 但它实际上是解决陷入局部最小值问题的不同方法。我不知道应该添加什么代码，因为这似乎是一个普遍的问题，我什至不知道如何在 PyTorch 中访问梯度张量。

标签： pythonpytorch

Answer 1

您可以检查参数都为零，如下所示：

for p in model.parameters():
    if not p.all():
        ...