pytorch - Pytorch:裁剪激活的可学习阈值
问题描述
用可学习的阈值裁剪 ReLU 激活的正确方法是什么?这是我实现它的方式,但是我不确定这是否正确:
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.act_max = nn.Parameter(torch.Tensor([0]), requires_grad=True)
self.conv1 = nn.Conv2d(3, 32, kernel_size=5)
self.conv2 = nn.Conv2d(32, 64, kernel_size=5)
self.pool = nn.MaxPool2d(2, 2)
self.relu = nn.ReLU()
self.linear = nn.Linear(64 * 5 * 5, 10)
def forward(self, input):
conv1 = self.conv1(input)
pool1 = self.pool(conv1)
relu1 = self.relu(pool1)
relu1[relu1 > self.act_max] = self.act_max
conv2 = self.conv2(relu1)
pool2 = self.pool(conv2)
relu2 = self.relu(pool2)
relu2 = relu2.view(relu2.size(0), -1)
linear = self.linear(relu2)
return linear
model = Net()
torch.nn.init.kaiming_normal_(model.parameters)
nn.init.constant(model.act_max, 1.0)
model = model.cuda()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)
for epoch in range(100):
for i in range(1000):
output = model(input)
loss = nn.CrossEntropyLoss()(output, label)
optimizer.zero_grad()
loss.backward()
optimizer.step()
model.act_max.data = model.act_max.data - 0.001 * model.act_max.grad.data
我必须添加最后一行,因为没有它,由于某种原因,值不会更新。
更新:我现在正在尝试一种基于激活梯度计算上界(act_max)的方法:
- 对于所有高于阈值的激活 (relu1[relu1 > self.act_max]),查看它们的梯度:计算所有这些梯度指向的平均方向。
- 对于低于阈值的所有正激活,计算他们想要改变的方向的平均梯度。
- 这些平均梯度的总和决定了 act_max 变化的方向和幅度。
解决方案
该代码有两个问题。
- 实现级别的一个是您正在使用通常不适用于 autograd 的就地操作。代替
relu1[relu1 > self.act_max] = self.act_max
您应该使用异地操作,例如
relu1 = torch.where(relu1 > self.act_max, self.act_max, relu1)
- 另一个更通用:神经网络通常使用梯度下降方法进行训练,阈值可以没有梯度——损失函数相对于阈值不可微。
在您的模型中,您正在使用肮脏的hackaround(无论您编写的是原样还是使用torch.where
) -model.act_max.grad.data
仅被定义,因为对于某些元素,它们的值设置为model.act_max
. 但是这个梯度不知道为什么它们被设置为那个值。为了使事情更具体,让我们定义C(x, t)
定义是否x
高于或低于阈值的截止操作t
C(x, t) = 1 if x < t else 0
并将您的剪裁操作编写为产品
clip(x, t) = C(x, t) * x + (1 - C(x, t)) * t
然后您可以看到阈值t
具有双重含义:它控制何时截止(内部C
),它控制高于截止的值(尾随t
)。因此,我们可以将操作概括为
clip(x, t1, t2) = C(x, t1) * x + (1 - C(x, t1)) * t2
您的操作的问题在于它只能相对于t2
但不可微分t1
。您的解决方案将两者联系在一起t1 == t2
,但是梯度下降仍然会表现得好像没有改变阈值,只是改变了高于阈值的值。
出于这个原因,通常您的阈值操作可能不会学习您希望它学习的值。在开发操作时要记住这一点,但不能保证失败 - 事实上,如果您考虑ReLU
某个线性单元的偏置输出标准,我们会得到类似的画面。我们定义了截止操作H
H(x, t) = 1 if x > t else 0
并且ReLU
作为
ReLU(x + b, t) = (x + b) * H(x + b, t) = (x + b) * H(x, t - b)
我们可以再次概括为
ReLU(x, b, t) = (x + b) * H(x, t)
再一次,我们只能学习 b
并且t
隐含地遵循b
. 然而它似乎工作:)
推荐阅读
- javascript - Node.js - 将 JSON 数据解析为 PUG 模板
- python - 从pdf中明智地读取数据部分
- php - 尽管正在发送数据,但仍收到错误消息
- haskell - 使用加盐密码创建用户以使用 AuthEmail 而不是 Auth.Dummy
- mongodb - 从 BSON 文件创建 Hive 表时列值变为 NULL
- excel - 将数据移动到特定的列和行
- aframe - 鼠标和实体控件之间的框架切换
- neo4j - 查找节点属性的唯一值
- python - Pygame.error: 视频系统未初始化,python.display.update 错误
- python - 如何将 JSON 数据插入/更新到 postgreSQL