时间戳

首页 > 解决方案 > 嵌入 N 维序列后的 LSTM

keras - 嵌入 N 维序列后的 LSTM

问题描述

我有一个具有二维train_seq形状的输入序列，(100000, 200, 2)即 100000 个训练示例，序列长度为 200，以及 2 个特征。

序列是文本，因此每个元素是一个单词，词汇表为 5000 个单词。因此，我想在我的 LSTM 之前使用嵌入层。

MAX_SEQUENCE_LENGTH = 200
EMBEDDING_SIZE = 64
MAX_FEATURES = 5000
NUM_CATEGORIES = 5

model_input = Input(shape=(MAX_SEQUENCE_LENGTH,2))

x = Embedding(output_dim=EMBEDDING_SIZE, input_dim=MAX_FEATURES, input_length=(MAX_SEQUENCE_LENGTH,2))(model_input)

x_lstm = LSTM(64)(x)

x = Dense(128, activation='relu', name = 'lstm')(x_lstm)

output = Dense(NUM_CATEGORIES, activation='sigmoid')(x)

model = Model(inputs=[model_input], outputs=[output])

model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])

但是，我无法构建模型并收到以下错误：

ValueError: Input 0 is incompatible with layer lstm: expected ndim=3, found ndim=4. 通过查看没有 LSTM 的模型摘要，我可以看到我的嵌入的输出形状是(None, 200, 2, 64)

Layer (type)                 Output Shape              Param #   
=================================================================
merged_input (InputLayer)    (None, 200, 2)            0         
_________________________________________________________________
embedding (Embedding)        (None, 200, 2, 64)        196096    
_________________________________________________________________

请注意，当输入序列是一维时，此架构有效。LSTM 可以接收二维序列吗？我如何告诉 LSTM 层输入的形状是(None, 200, 2, 64)?

任何帮助，将不胜感激

标签： keraslstmdimensionsembedding

解决方案

首先不要定义输入层，你不需要它。一般来说，嵌入层是这样使用的：

model = Sequential()
model.add(Embedding(MAX_FEATURES, EMBEDDING_SIZE , input_length=MAX_SEQUENCE_LENGTH ))
model.add(LSTM(64))
(...)

功能样式定义也是如此，请尝试一下。

推荐阅读