python - 为什么当我复制网络权重时它在 Pytorch 中,它会在反向传播后自动更新?
问题描述
我编写了以下代码作为测试,因为在我的原始网络中,我使用 ModuleDict 并且取决于我提供的索引,它将只切片和训练该网络的一部分。
我想确保只有切片层会更新它们的权重,所以我写了一些测试代码来仔细检查。好吧,我得到了一些奇怪的结果。假设我的模型有 2 层,第 1 层是 FC,第 2 层是 Conv2d,如果我对网络进行切片并且只使用第 2 层,我希望第 1 层的权重不会改变,因为它们未被使用,第 2 层的权重将在 1 个纪元后更新。
所以我的计划是for
在训练之前使用循环从网络中获取所有权重,然后我会在 1 之后进行optimizer.step()
。两次我都会将这些权重完全分开存储在 2 个 Python 列表中,以便稍后比较它们的结果。好吧,由于某种原因,如果我将它们与torch.equal()
我认为的比较它们,这两个列表是完全一样的,因为内存中可能还有某种隐藏的链接?因此,当我从循环中抓取它们时,我尝试使用.detach()
权重,结果仍然相同。在这种情况下,Layer2 的权重应该不同,因为它应该包含训练前来自网络的权重。
在下面的代码中指出,我实际上使用的是 layer1 并忽略了 layer2。
完整代码:
class mymodel(nn.Module):
def __init__(self):
super().__init__()
self.layer1 = nn.Linear(10, 5)
self.layer2 = nn.Conv2d(1, 5, 4, 2, 1)
self.act = nn.Sigmoid()
def forward(self, x):
x = self.layer1(x) #only layer1 and act are used layer 2 is ignored so only layer1 and act's weight should be updated
x = self.act(x)
return x
model = mymodel()
weights = []
for param in model.parameters(): # loop the weights in the model before updating and store them
print(param.size())
weights.append(param)
critertion = nn.BCELoss() #criterion and optimizer setup
optimizer = optim.Adam(model.parameters(), lr = 0.001)
foo = torch.randn(3, 10) #fake input
target = torch.randn(3, 5) #fake target
result = model(foo) #predictions and comparison and backprop
loss = criterion(result, target)
optimizer.zero_grad()
loss.backward()
optimizer.step()
weights_after_backprop = [] # weights after backprop
for param in model.parameters():
weights_after_backprop.append(param) # only layer1's weight should update, layer2 is not used
for i in zip(weights, weights_after_backprop):
print(torch.equal(i[0], i[1]))
# **prints all Trues when "layer1" and "act" should be different, I have also tried to call param.detach in the loop but I got the same result.
解决方案
你必须clone
参数,否则你只需复制参考。
weights = []
for param in model.parameters():
weights.append(param.clone())
criterion = nn.BCELoss() # criterion and optimizer setup
optimizer = optim.Adam(model.parameters(), lr=0.001)
foo = torch.randn(3, 10) # fake input
target = torch.randn(3, 5) # fake target
result = model(foo) # predictions and comparison and backprop
loss = criterion(result, target)
optimizer.zero_grad()
loss.backward()
optimizer.step()
weights_after_backprop = [] # weights after backprop
for param in model.parameters():
weights_after_backprop.append(param.clone()) # only layer1's weight should update, layer2 is not used
for i in zip(weights, weights_after_backprop):
print(torch.equal(i[0], i[1]))
这使
False
False
True
True
推荐阅读
- javascript - 根据时间戳删除数组中的“类似项目”对象
- reactjs - Reactjs - 具有不同数量参数的 handleChange
- reporting-services - 在 SSRS 订阅中编辑指向报表服务器的 URL 链接
- javascript - React Native - 使用“json [0]”获取不起作用
- django - 如何编辑以下 Django Moellform
- php - php页面查询需要15分钟,phpmyadmin上同样的查询需要3秒
- arcgis - 使用 ArcGIS API for JavaScript 时如何使用外部数据
- java - 如何压缩数组的原始整数数据?
- audio - Aframe 音频资产 - 正确断开音频源
- javascript - 无法用 Array.length 计算