tensorflow - 双向 RNN 单元 - 是否共享？

Question

我应该使用相同的权重来计算双向 RNN 中的前向和后向传递，还是应该独立学习这些权重？

标签： tensorflowneural-networkkeraspytorchrecurrent-neural-network

Answer 1

他们应该独立学习，因为他们学习不同的模式，除非你有回文。事实上，这是 Keras 中双向包装器的默认设置：

self.forward_layer = copy.copy(layer)
config = layer.get_config()
config['go_backwards'] = not config['go_backwards']
self.backward_layer = layer.__class__.from_config(config)

在上面的源代码中，相反的方向是与原始方向具有独立权重的副本。