时间戳

首页 > 解决方案 > 为什么 Pytorch Dropout 层会影响所有值，而不仅仅是设置为零的值？

python - 为什么 Pytorch Dropout 层会影响所有值，而不仅仅是设置为零的值？

问题描述

Pytorch 的 dropout 层会更改未设置为零的值。使用 Pytorch 的文档示例：（来源）：

import torch
import torch.nn  as nn

m = nn.Dropout(p=0.5)
input = torch.ones(5, 5)

print(input)
tensor([[1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.]])

然后我通过dropout一层：

output = m(input)
print(output)
tensor([[0., 0., 2., 2., 0.],
        [2., 0., 2., 0., 0.],
        [0., 0., 0., 0., 2.],
        [2., 2., 2., 2., 2.],
        [2., 0., 0., 0., 2.]])

未设置为零的值现在是 2。为什么？

标签： pythonpytorchtensordropout

解决方案

这就是 dropout 正则化的工作原理。在 dropout 之后，这些值除以保持概率（在本例中为 0.5）。

由于 PyTorch Dropout 函数接收归零神经元的概率作为输入，如果你使用nn.Dropout(p=0.2)它意味着它有 0.8 的机会保持。所以表上的值将是 1/(1-0.2)。

这被称为“反向 dropout 技术”，这样做是为了确保激活的预期值保持不变。

推荐阅读