python - Keras 有注意力层吗？

Question

我将为 LSTM 神经网络实现注意力机制。我使用了这一层（https://pypi.org/project/keras-self-attention/），但它增加了错误！也许这是因为我的数据集，但类似的研究在注意力层上得到了更高的准确性。你能介绍一下在 Keras 中实现注意力的另一种易于使用的方法吗？

标签： pythontensorflowkeraslstmattention-model

Answer 1

您可以使用 TensorFlow Keras 模块tf.keras.layers.Attention。也就是说，假设您使用的是 TensorFlow 2.0。

你在这里阅读更多：https ://www.tensorflow.org/api_docs/python/tf/keras/layers/Attention?version=stable