时间戳

首页 > 解决方案 > Pytorch LSTM 与 LSTMCell

pytorch - Pytorch LSTM 与 LSTMCell

问题描述

Pytorch（当前版本 1.1）中的LSTM和LSTMCell有什么区别？LSTMCell 似乎是 LSTM 的一个特例（即只有一层，单向，没有 dropout）。

那么，这两种实现的目的是什么？除非我遗漏了什么，否则将 LSTM 对象用作 LSTMCell 是微不足道的（或者，使用多个 LSTMCell 来创建 LSTM 对象非常容易）

标签： pytorchlstmrecurrent-neural-networklstm-stateful

解决方案

是的，您可以一个一个地效仿，将它们分开的原因是效率。

LSTMCell是一个接受参数的单元格：

  • 输入形状批次×输入维度；
  • 形状批次 x 隐藏维度的 LSTM 隐藏状态元组。

这是方程的直接实现。

LSTM是在“for 循环”中应用 LSTM 单元（或多个 LSTM 单元）的层，但该循环使用 cuDNN 进行了大量优化。它的输入是

  • 形状为批次 × 输入长度 × 输入维度的输入的三维张量；
  • 可选地，LSTM 的初始状态，即形状为 batch × hidden dim 的隐藏状态的元组（如果 LSTM 是双向的，则为此类元组的元组）

您通常可能希望在不同的上下文中使用 LSTM 单元，而不是将其应用于序列，即创建一个在树状结构上运行的 LSTM。当您在序列到序列模型中编写解码器时，您还会在循环中调用单元并在序列结束符号被解码时停止循环。

推荐阅读