时间戳

首页 > 解决方案 > 优化器步骤后网络的权重保持不变

neural-network - 优化器步骤后网络的权重保持不变

问题描述

我的网络只是拒绝训练。为了让代码阅读不那么麻烦，我缩写了一些复杂的逻辑。如果需要会更新更多。

model = DistMultNN()
optimizer = optim.SGD(model.parameters(), lr=0.0001)
for t in range(500):
    e1_neg = sampling_logic()
    e2_neg = sampling_logic()

    e1_pos = sampling_logic()
    r = sampling_logic()
    e2_pos = sampling_logic()
    optimizer.zero_grad()
    y_pred = model(tuple(zip(e1_pos, r, e2_pos)), e1_neg, e2_neg)
    loss = model.loss(y_pred)
    loss.backward()
    optimizer.step()

我将我的网络定义如下

class DistMultNN(nn.Module):

    def __init__(self):
        super().__init__()
        self.seed = 42
        self.entities_embedding = nn.init.xavier_uniform_(
            torch.zeros((self.NO_ENTITIES, self.ENCODING_DIM), requires_grad=True))
        self.relation_embedding = nn.init.xavier_uniform_(
            torch.zeros((self.NO_RELATIONSHIPS, self.ENCODING_DIM), requires_grad=True))
        self.W = torch.rand(self.ENCODING_DIM, self.ENCODING_DIM, requires_grad=True)  # W is symmetric, todo: requireGrad?
        self.W = (self.W + self.W.t()) / 2
        self.b = torch.rand(self.ENCODING_DIM, 1, requires_grad=True)
        self.lambda_ = 1.
        self.rnn = torch.nn.RNN(input_size=encoding_dim, hidden_size=1, num_layers=1, nonlinearity='relu')
        self.loss_func = torch.nn.LogSoftmax(dim=1)

    def loss(self, y_pred):
        softmax = -1 * self.loss_func(y_pred)
        result = torch.mean(softmax[:, 0])
        result.requires_grad = True
        return result

    def forward(self, samples, e1neg, e2neg):
        batch_size = len(samples)
        batch_result = np.zeros((batch_size, len(e1neg[0]) + 1))
        for datapoint_id in range(batch_size):
            entity_1 = entities_embed_lookup(datapoint_id[0])
            entity_2 = entities_embed_lookup(datapoint_id[2])
            r = relation_embed_lookup(datapoint_id[1])
            x = self.some_fourier_transform(entity_1, r, entity_2)
            batch_result[datapoint_id][0] = self.some_matmul(x)
            for negative_example_id in range(len(e1neg[0])):
                same_thing_with_negative_examples()
                batch_result[datapoint_id][negative_example_id + 1] = self.some_matmul(x)
        batch_result_tensor = torch.tensor(data=batch_result)
        return batch_result_tensor

我尝试print(model.rnn.all_weights)在训练循环中使用例如检查权重，但它们没有改变。我做错了什么？

标签： neural-networkpytorch

解决方案

所以首先result.requires_grad = True应该不需要并且实际上应该抛出错误，因为结果通常不是叶变量。

因此，在最后的前进中，您从 numpy 数组中创建了一个新的张量：

batch_result_tensor = torch.tensor(data=batch_result)

并根据这个结果计算损失并希望将其倒退。这不起作用，因为batch_result_tensor它不是计算梯度所需的任何计算图的一部分。你不能以这种方式混合 numpy 和 torch 。

前向函数必须由带有火炬张量的操作组成，如果您想更新和优化它们，则需要 grad。所以默认情况是你有层，它有需要 grad 的权重张量。您有一个输入，您将其传递给层，因此构建计算图并将所有操作记录在其中。

所以我会开始制作batch_result一个火炬张量并删除batch_result_tensor = torch.tensor(data=batch_result)and result.requires_grad = True。您可能需要进行更多更改。

推荐阅读