tensorflow - 理解 TensorFlow 2.x 注意力层的参数

Question

我正在阅读TensorFlow 网站上关于tf.keras.layers.Attention的文档。文档说 call 参数采用Query Tensor, Value Tensor。我的问题是这些张量是什么。他们是，

• 查询张量 = lstm 输出
• 值张量 = lstm 隐藏状态

如果我错了，请纠正我。

谢谢

标签： tensorflowtf.keras

Answer 1

Value Tensor --> 这是每个时间步的编码器表示。查询张量 --> 如果您正在逐步计算时间，则这是当前时间步的解码器表示。如果你计算每个时间步的注意力，它是一个张量，代表解码器输出的每个时间步。