python - 避免过度拟合使用 keras 的序列问题

Question

我想训练的模型有问题。

这是一个典型的带有注意力层的 seq-to-seq 问题，其中输入是字符串，输出是提交字符串的子字符串。

例如

Input            Ground Truth
-----------------------------
helloimchuck     chuck
johnismyname     john

（这只是一个虚拟数据，不是数据集的真实部分^^）

模型如下所示：

model = Sequential()
model.add(Bidirectional(GRU(hidden_size, return_sequences=True), merge_mode='concat',
                        input_shape=(None, input_size)))  # Encoder
model.add(Attention())
model.add(RepeatVector(max_out_seq_len))
model.add(GRU(hidden_size * 2, return_sequences=True))  # Decoder
model.add(TimeDistributed(Dense(units=output_size, activation="softmax")))
model.compile(loss="categorical_crossentropy", optimizer="rmsprop", metrics=['accuracy'])

问题在这里：

如您所见，存在过度拟合。

我在验证损失上使用了提前停止标准patience=8。

self.Early_stop_criteria = keras.callbacks.EarlyStopping(monitor='val_loss', min_delta=0,
                                                             patience=8, verbose=0,
                                                             mode='auto')

我正在使用 one-hot-vector 来拟合模型。

BATCH_SIZE = 64
HIDDEN_DIM = 128

问题是，我尝试了其他批量大小、其他隐藏维度、10K 行、15K 行、25K 行和现在 50K 行的数据集。但是，总是存在过度拟合，我不知道为什么。

test_size = 0.2和validation_split=0.2。_ 这些是我没有改变的唯一参数。

我还确保数据集正确构建。

我唯一的想法是尝试另一个验证拆分，也许0.33不是0.2.

我不知道cross-validation会不会有帮助。

也许有人有更好的主意，我可以尝试。提前致谢。

标签： pythonmachine-learningkerassupervised-learning

Answer 1

正如 kvish 建议的那样，dropout 是一个很好的解决方案。

我首先尝试使用 0.2 的 dropout。

model = Sequential()
model.add(Bidirectional(GRU(hidden_size, return_sequences=True, dropout=0.2), merge_mode='concat',
                            input_shape=(None, input_size)))  # Encoder
model.add(Attention())
model.add(RepeatVector(max_out_seq_len))
model.add(GRU(hidden_size * 2, return_sequences=True))  # Decoder
model.add(TimeDistributed(Dense(units=output_size, activation="softmax")))
model.compile(loss="categorical_crossentropy", optimizer="rmsprop", metrics=['accuracy'])

对于 50K 行，它可以工作，但仍然存在过度拟合。

所以，我尝试了 0.33 的 dropout，并且效果很好。