nlp - 双向RNN实现pytorch
问题描述
嗨,我想了解双向 RNN。
> class RNN(nn.Module):
>
>
> def __init__(self,n_vocab,n_embed,hidden_size,output_size):
>
> super().__init__()
>
> self.hidden_size = hidden_size
>
> self.embedding = nn.Embedding(n_vocab+1,n_embed) ## n_vocab is unique words in dictionary ## n_embed is hyperparameter
> self.rnn = nn.RNN(n_embed, hidden_size, num_layers = 1, batch_first = True,bidirectional = True) #
>
> self.fc = nn.Linear(hidden_size,output_size)
>
> def forward(self,x):>
>
> x = x # input batch_size * seq_length
>
> batch_size = x.size(0)
>
> #print('Batch Size is',batch_size)
>
> x = self.embedding(x) # batch-size x seq_length x embedding_dimension
>
> x,hidden =self.rnn(x) #batch-size x seq_length x hidden_size
>
>
>
> return x,hidden
我在浏览教程时同时返回隐藏状态和输出,有人说我需要连接隐藏状态 (torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim = 1)) 并且在某些教程中采用输出状态 (x[:,-1,:]) 但两个结果都不同。
做双向RNN的正确方法是什么。
解决方案
两种方式都是正确的,视情况而定。如果nn.RNN
是双向的(就像您的情况一样),您将需要连接隐藏状态的输出。如果nn.RNN
是双向的,它将输出形状的隐藏状态:(num_layers * num_directions, batch, hidden_size)
。在神经网络的上下文中,当 RNN 是双向的时,我们需要连接来自两侧(LTR 和 RTL)的隐藏状态。这就是为什么您需要使用连接隐藏状态的原因:torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim = 1)
这与x[:,-1,:])
.
推荐阅读
- javascript - 复制/导出的 VueJS 项目比原始项目小得多
- machine-learning - 使用 ONNX 将 YOLOV3 Pytorch 模型转换为 coreml 以在 IOS 应用程序中时面临问题
- android - 2019年android多模块gradle项目如何汇总测试报告
- php - Problem with add a foreign key to same table in Laravel - Error : "Cannot add foreign key constraint"
- azure - 无法使用 azure Rest API 创建 VM
- c++ - MISRA 警告
- asp.net-mvc - 在 Sitecore MVC 项目中调用 Task.WhenAll 的异步/等待阻塞
- python-3.x - 安装 tensorflow 1.4.0 版
- php - 如何使用产品单页的条件显示小部件
- vue.js - 为什么我的 vue js 数据成员没有更新?