machine-learning - GRU 和 LSTM 哪个更快

Question

我尝试使用 GRU 和 LSTM 在 keras 上实现模型。两种实现的模型架构相同。正如我在许多博客文章中所读到的，与 LSTM 相比，GRU 的推理时间更快。但在我的情况下，GRU 并不快，事实上相对于 LSTMs 比较慢。任何人都可以找到原因。与 Keras 中的 GRU 有什么关系，还是我在任何地方都出错了。

非常感谢您的帮助...

提前致谢

标签： machine-learningkerasartificial-intelligencelstmgated-recurrent-unit

Answer 1

我会首先检查您使用的 LSTM 是 CuDNNLSTM 还是简单的 LSTM。前者是 GPU 加速的变体，运行速度比简单的 LSTM 快得多，尽管在这两种情况下训练都在 GPU 上运行。

是的，文件不会说谎；事实上，GRU 单元的计算量比 LSTM 单元要少。

确保不要将简单的 GRU 与 CuDNN-LSTM 进行比较。

要获得真正的基准，请确保将 LSTM 与 GRU 以及 CuDNNLSTM 与 CuDNNGRU 进行比较。