首页 > 解决方案 > LSTM:通过输入输出值进行反转以得到输入值

问题描述

这个思想实验怎么样。你有一个 LSTM 网络来编码一个整数序列(输入是x_t)。对于每个单元,计算并存储门的权重、偏差和输出,以及之前的状态 ( C_t-1, ) 以用于前向传递。h_t-1因此,每个单元都有某种硬编码模式。我们将使用此图像作为可视化辅助工具(来自Wikipedia)。

在此处输入图像描述

我现在想取一个包含所有计算值的单元格,并将输入与输出切换。新输入是输入的新值h_t,我们称之为h'_t。计算被反转以达到x_t我们将调用的新值x'_t。单元格是否保持其属性,以便单元格的输出和输入之间存在(非线性)关系,而不管我输入的输出值是什么?然后将对整个 LSTM 单元序列执行此计算,但每个单元将获得不同的h'_t值作为输入。

x'_t此外,由于可以通过输出门、输入门或遗忘门到达,只对输出门进行反向计算就足够了吗?

标签: tensorflowkeraslstmrecurrent-neural-network

解决方案


推荐阅读