neural-network - Pytorch minibatching 使模型无法训练
问题描述
我正在尝试通过二进制特征对序列进行分类。我有一个序列/标签对的数据集,并且正在使用一个简单的单层 LSTM 对每个序列进行分类。在我实施 minibatching 之前,我在测试集上获得了合理的准确率(80%),训练损失将从 0.6 变为 0.3(平均)。
我使用本教程的部分内容实现了 minibatching:https ://pytorch.org/tutorials/beginner/chatbot_tutorial.html
但是,现在我的模型在批量大小设置为 1 且所有其他参数完全相同的情况下,不会比 70-72%(70% 的数据有一个标签)做得更好。此外,损失从 0.0106 开始,很快变得非常小,结果没有显着变化。我觉得没有批处理和大小为 1 的批处理之间的结果应该是相同的,所以我可能有一个错误,但对于我的生活,我找不到它。我的代码如下。
训练代码(一个epoch):
for i in t:
model.zero_grad()
# prep inputs
last = i+self.params['batch_size']
last = last if last < len(train_data) else len(train_data)
batch_in, lengths, batch_targets = self.batch2TrainData(train_data[shuffled][i:last], word_to_ix, label_to_ix)
iters += 1
# forward pass.
tag_scores = model(batch_in, lengths)
# compute loss, then do backward pass, then update gradients
loss = loss_function(tag_scores, batch_targets)
loss.backward()
# Clip gradients: gradients are modified in place
nn.utils.clip_grad_norm_(model.parameters(), 50.0)
optimizer.step()
功能:
def prep_sequence(self, seq, to_ix):
idxs = [to_ix[w] for w in seq]
return torch.tensor(idxs, dtype=torch.long)
# transposes batch_in
def zeroPadding(self, l, fillvalue=0):
return list(itertools.zip_longest(*l, fillvalue=fillvalue))
# Returns padded input sequence tensor and lengths
def inputVar(self, batch_in, word_to_ix):
idx_batch = [self.prep_sequence(seq, word_to_ix) for seq in batch_in]
lengths = torch.tensor([len(idxs) for idxs in idx_batch])
padList = self.zeroPadding(idx_batch)
padVar = torch.LongTensor(padList)
return padVar, lengths
# Returns all items for a given batch of pairs
def batch2TrainData(self, batch, word_to_ix, label_to_ix):
# sort by dec length
batch = batch[np.argsort([len(x['turn']) for x in batch])[::-1]]
input_batch, output_batch = [], []
for pair in batch:
input_batch.append(pair['turn'])
output_batch.append(pair['label'])
inp, lengths = self.inputVar(input_batch, word_to_ix)
output = self.prep_sequence(output_batch, label_to_ix)
return inp, lengths, output
模型:
class LSTMClassifier(nn.Module):
def __init__(self, params, vocab_size, tagset_size, weights_matrix=None):
super(LSTMClassifier, self).__init__()
self.hidden_dim = params['hidden_dim']
if weights_matrix is not None:
self.word_embeddings = nn.Embedding.from_pretrained(weights_matrix)
else:
self.word_embeddings = nn.Embedding(vocab_size, params['embedding_dim'])
self.lstm = nn.LSTM(params['embedding_dim'], self.hidden_dim, bidirectional=False)
# The linear layer that maps from hidden state space to tag space
self.hidden2tag = nn.Linear(self.hidden_dim, tagset_size)
def forward(self, batch_in, lengths):
embeds = self.word_embeddings(batch_in)
packed = nn.utils.rnn.pack_padded_sequence(embeds, lengths)
lstm_out, _ = self.lstm(packed)
outputs, _ = nn.utils.rnn.pad_packed_sequence(lstm_out)
tag_space = self.hidden2tag(outputs)
tag_scores = F.log_softmax(tag_space, dim=0)
return tag_scores[-1]
解决方案
对于其他有类似问题的人,我让它工作。我删除了 log_softmax 计算,所以:
tag_space = self.hidden2tag(outputs)
tag_scores = F.log_softmax(tag_space, dim=0)
return tag_scores[-1]
变成这样:
tag_space = self.hidden2tag(outputs)
return tag_space[-1]
我还将 NLLLoss 更改为 CrossEntropyLoss(上面未显示),并在没有参数的情况下初始化 CrossEntropyLoss(也就是没有 ignore_index)。
我不确定为什么这些更改是必要的(文档甚至说 NLLLoss 应该在 log_softmax 层之后运行),但他们让我的模型正常工作并将我的损失恢复到合理的范围(~0.5)。
推荐阅读
- python - 如何根据初始亮度改变图像中像素的颜色?
- android - Deeplearning4J nd4j-native.properties 无法打开,因为它不存在
- elasticsearch - 如何在弹性搜索中使用“zero_terms_query”
- python - 配置文件编辑错误。如果你们能发现额外的错误,那就太酷了
- flutter - ' showDatePicker '未找到 MaterialLocalizations。就在我使用语言环境时
- c - 为什么我的 fscanf() 进入无限循环?
- firebase - 如何使用变量初始化新的 Firebase @FirestoreQuery 属性包装器?
- ssl - 您的现有证书与您请求的域或证书名称完全相同,并且未接近到期
- reactjs - 添加新行时输入数组重复前一行的表
- python - 一个图像数组和同一个图像数组读写后的总和是不同的