machine-learning - LSTM 对子序列的预测失败
问题描述
我有一个简单的数据集,例如:
data = [
[[1,2], [3,4], [5,6], [7,8], [9,10]],
[[10, 20], [30, 40], [50, 60], [70, 80], [90, 100]],
[[0.1, 0.2], [0.3, 0.4], [0.5, 0.6], [0.7, 0.8], [0.9, 0.10]],
[[0.01, 0.02], [0.03, 0.04], [0.05, 0.06], [0.07, 0.08], [0.09, 0.010]],
[[11, 12], [13, 14], [15, 16], [17, 18], [19, 20]]
]
每个输入都与另一个完全不同。
每个输入对应一个不同的类:
classes = ['A', 'B', 'C', 'D', 'E']
我正在按如下方式训练 LSTM:
# Build Model
model = Sequential()
model.add(LSTM(units=units, activation='tanh',
batch_input_shape=(1, None, n_features),
dropout=dropout, recurrent_dropout=recurrent_dropout,
return_sequences=return_sequences, stateful=stateful))
model.add(Dropout(dropout_))
self.model.add(Dense(n_classes, activation='softmax'))
self.model.compile(loss='categorical_crossentropy',
optimizer=optimizer, metrics=['accuracy'])
# Train
model.fit(x=np.array(data), y=np.array(classes), batch_size=1)
我可以在训练集上达到 100% 的准确率。但是,如果我尝试在子序列上对其进行预测,则无法知道子序列属于哪个类!如:
[[1,2], [3,4]]
[[10, 20], [30, 40], [50, 60]]
[[0.1, 0.2], [0.3, 0.4], [0.5, 0.6]]
[[0.01, 0.02], [0.03, 0.04]]
[[11, 12], [13, 14]]
为上述应用不同的参数:units
, dropout
...等。修复过拟合(如果有的话),没有用。
概括:
无论训练的 epoch 数量、参数调整以及使用的不同优化器和学习率如何,对子序列的预测精度都不会超过 60%!
我想从这个转移到一个更大的数据集,但我无法先完成这项工作。
解决方案
您应该首先将数据集拆分为训练和验证(开发)数据集。也许还有一个测试拆分。然后测量验证数据集的性能。
您还可以使用子序列示例扩充您的数据集并在这些示例上进行训练/验证。
推荐阅读
- azure-ad-b2c - 将 Azure AD B2C KMSI 复选框置于登录按钮下方
- angularjs - Integrating Webpack with angular.js
- amazon-web-services - AWS 负载均衡器日志中的日志标头或在 5xx 系列上执行操作
- python - 将 popen 子进程上的标准输入重定向到 raw_input ?对于蟒蛇 2.7
- python - 如何捕获基于 ipython 的 jupyter notebook 中打印的所有内容?
- python - How to use variable names iteratively in a loop in python/pandas
- sharepoint - Login failed for User when using Database connection in Owin Startup class
- typescript - TypeScript: Exclude external types from the build output
- c# - Conditional inheritance: base class depend on environment variable
- mysql - How to import a 10GB file to MySQL?