时间戳

首页 > 解决方案 > LSTM 文本分类精度差 Keras

keras - LSTM 文本分类精度差 Keras

问题描述

我在这个项目中疯了。这是在 keras 中使用 lstm 的多标签文本分类。我的模型是这样的：

model = Sequential()

model.add(Embedding(max_features, embeddings_dim, input_length=max_sent_len, mask_zero=True, weights=[embedding_weights] ))
model.add(Dropout(0.25))
model.add(LSTM(output_dim=embeddings_dim , activation='sigmoid', inner_activation='hard_sigmoid', return_sequences=True))
model.add(Dropout(0.25))
model.add(LSTM(activation='sigmoid', units=embeddings_dim, recurrent_activation='hard_sigmoid', return_sequences=False))
model.add(Dropout(0.25))
model.add(Dense(num_classes))
model.add(Activation('sigmoid'))

adam=keras.optimizers.Adam(lr=0.04)
model.compile(optimizer=adam, loss='categorical_crossentropy', metrics=['accuracy'])

只是我的准确度太低了..使用二元交叉熵我得到了很好的准确度，但结果是错误的！！！！！！更改为分类交叉熵，我的准确率非常低。你有什么建议吗？

有我的代码：GitHubProject - Multi-Label-Text-Classification

标签： keraslstmtext-classificationrnnmultilabel-classification

解决方案

在最后一层，你使用的激活函数是sigmoid，所以binary_crossentropy应该使用。如果您想使用，categorical_crossentropy然后softmax在最后一层用作激活函数。

现在，来到你模型的另一部分，因为你正在处理文本，我会告诉你tanh在 LSTM 层中作为激活函数。

您也可以尝试使用 LSTM 的 dropoutsdropout以及recurrent dropout

LSTM(units, dropout=0.2, recurrent_dropout=0.2,
                             activation='tanh')

您可以将单位定义为64或128。从少量开始，经过测试，您将它们带到1024.

您也可以尝试添加convolution层以提取特征或使用Bidirectional LSTM但基于模型的Bidirectional训练需要时间。

此外，由于您正在处理文本，因此pre-processing of text and size of training data始终扮演比预期更大的角色。

已编辑

在拟合参数中添加类权重

class_weights = class_weight.compute_class_weight('balanced',
                                                  np.unique(labels),
                                                  labels)
class_weights_dict = dict(zip(le.transform(list(le.classes_)),
                          class_weights))


model.fit(x_train, y_train, validation_split, class_weight=class_weights_dict)

推荐阅读