nlp - 如何在 NLP 上使用 pytorch 实现丢失?
问题描述
我正在用 pytorch 用简单的玩具项目(只是生成文本)来研究 NLP。当我在网上参考一些示例代码时,遇到了一个我无法理解的问题。
以下是代码(部分代码已省略,尚未完成。):
- LSTM 模型(utils.py)。
def __init__(self, vocab_size, seq_size, embedding_size, hidden_size):
super(RNNModule, self).__init__()
self.seq_size = seq_size
self.hidden_size = hidden_size
self.embedding = nn.Embedding(vocab_size,
embedding_size)
self.lstm = nn.LSTM(input_size = embedding_size,
hidden_size = hidden_size,
num_layers = 2,
batch_first=True)
self.dense = nn.Linear(hidden_size, vocab_size)
def forward(self, x, prev_state):
embed = self.embedding(x)
output, state = self.lstm(embed, prev_state)
logits = self.dense(output)
print(logits.size())
return logits, state
# 첫 입력값을 위한 zero state를 출력.
def zero_state(self, batch_size):
return (torch.zeros(2, batch_size, self.hidden_size),
torch.zeros(2, batch_size, self.hidden_size))
def make_data_label(corpus) :
data = []
label = []
for c in corpus :
data.append(c[:-1])
label.append(c[1:])
data, label = torch.LongTensor(data), torch.LongTensor(label)
return data, label
- 主文件
if __name__=="__main__":
""" 데이터 불러오기.
"""
corpus, word2id, id2word, weight = load_data()
corpus = torch.LongTensor(corpus)
""" 하이퍼 파라미터.
"""
# 훈련
epochs = 10
learning_rate = 0.003
batch_size = 16
hidden_size = 32 # lstm hidden 값 차원수
gradients_norm=5 # 기울기 클리핑.
# 문장
seq_size=len(corpus[0]) # 문장 1개 길이.
embedding_size=len(weight[0]) # 임베딩 벡터 사이즈.
vocab_size = len(word2id)
# 테스트
# initial_words=['I', 'am']
predict_top_k=5
checkpoint_path='./checkpoint'
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('# corpus size : {} / vocab_size : {}'.format(len(corpus), vocab_size))
print('# batch size : {} / num of cell : {}'.format(batch_size, hidden_size))
print("# 디바이스 : ", device)
print('-'*30+"데이터 불러오기 및 하이퍼 파라미터 설정 분할 완료.")
""" data/label 분할
"""
c = corpus.numpy() # corpus가 Tensor 형태이므로 정상적인 slicing을 위해 numpy 형태로 바꾸어준다.
data, label = make_data_label(c)
dataset = CommentDataset(data, label)
dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True)
print('-'*30 + "Data Loader 준비 완료.")
""" Model 정의 및 생성.
"""
net = RNNModule(vocab_size, seq_size,
embedding_size, hidden_size)
net = net.to(device)
loss_f = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(net.parameters(), lr=learning_rate)
for batch_idx, sample in enumerate(dataloader) :
data, label = sample
data = data.to(device)
label = label.to(device)
state_h, state_c = net.zero_state(batch_size) # initial h, c
state_h = state_h.to(device)
state_c = state_c.to(device)
logits, (state_h, state_c) = net.forward(data, (state_h, state_c))
print(logits.transpose(1, 2).size())
print(label.size())
loss = loss_f(logits.transpose(1, 2), label)
loss.backward()
optimizer.step()
break
所以,我无法理解的是为什么logits
必须转置张量(main.py 末尾的代码)。
logits 和 label 的形状是:
logits : torch.Size([16, 19, 10002]) # [batch_size, setence_length, vocab_size]
label : torch.Size([16, 19]) # [batch_size, setence_length]
在我看来,要使用 CrossEntropy 计算损失,标签的形状和数据的形状必须是相同的维度,但事实并非如此。(标签的形状:[batch_size, setence_length] -> [batch_size, setence_length, vocab_size])
我怎么能理解这个?为什么它有效?
附言。我参考了下面的网站!:https://machinetalk.org/2019/02/08/text-generation-with-pytorch/
解决方案
nn.CrossEntropyLoss()
不接受 one-hot 向量。相反,它接受类值。因此,您的 logits 和目标将不会具有相同的维度。Logits 必须是维度(num_examples, vocab_size)
,但您的标签只需要包含真实类的索引,因此它的形状(num_examples)
not (num_examples, vocab_size)
。仅当您输入单热编码向量时才需要该形状。
至于为什么你需要转置你的 logits 向量,nn.CrossEntropyLoss()
期望 logits 向量的维度(batch_size, num_classes,loss_dims)
是 loss_dims 这里是每批中的标记数。
推荐阅读
- regex - 根据方括号组成字符串的多重组合
- r - R Plotly:按散点图的分类变量对 x 轴进行排序
- testng - 如何避免“org.testng.TestNGException: The test(s) <[a-t1,a-t3]> cannot be found.”?
- sql-server - 能够编写一个 sql clr 函数,它将 sql server 中的过程/视图/函数/触发器编写为不同的对象名称
- django - 基于 obj 类型的具有不同数据集的查询集
- bash - Bash:提取剩余的未标记参数(使用 getopts 时)
- laravel - 试图解决“致命错误”和“没有这样的文件或目录”
- chef-infra - 厨师食谱,如何清理不同节点上的不同目录
- java - netbeans java调试器使用源jar而不是项目源
- angular - 订阅路由更改和初始化