python - 用于 LSTM 模型的 Keras 多输出数据重塑
问题描述
我有一个包含多个输出的 Keras LSTM 模型。模型定义如下:
outputs=[]
main_input = Input(shape= (seq_length,feature_cnt), name='main_input')
lstm = LSTM(32,return_sequences=True)(main_input)
for _ in range((output_branches)): #output_branches is the number of output branches of the model
prediction = LSTM(8,return_sequences=False)(lstm)
out = Dense(1)(prediction)
outputs.append(out)
model = Model(inputs=main_input, outputs=outputs)
model.compile(optimizer='rmsprop',loss='mse')
重塑输出数据时出现问题。重塑输出数据的代码是:
y=y.reshape((len(y),output_branches,1))
我收到以下错误:
ValueError:检查模型目标时出错:您传递给模型的 Numpy 数组列表不是模型预期的大小。预计会看到 5 个数组,但得到了以下 1 个数组的列表:[array([[[0.29670931], [0.16652206], [0.25114482], [0.36952324], [0.09429612]],
[[0.16652206], [0.25114482], [0.36952324], [0.09429612],...
如何正确重塑输出数据?
解决方案
这取决于y
最初的结构。在这里,我假设这y
是批量每个序列的单值标签。
当有多个输入/输出时,model.fit()
期望给出相应的输入/输出列表。np.split(y, output_branches, axis=-1)
在以下完全可重现的示例中,正是这样做的 - 对于每个批次,将单个输出列表拆分为一个单独的输出列表,其中每个输出(在这种情况下)是 1 元素列表:
import tensorflow as tf
import numpy as np
tf.enable_eager_execution()
batch_size = 100
seq_length = 10
feature_cnt = 5
output_branches = 3
# Say we've got:
# - 100-element batch
# - of 10-element sequences
# - where each element of a sequence is a vector describing 5 features.
X = np.random.random_sample([batch_size, seq_length, feature_cnt])
# Every sequence of a batch is labelled with `output_branches` labels.
y = np.random.random_sample([batch_size, output_branches])
# Here y.shape() == (100, 3)
# Here we split the last axis of y (output_branches) into `output_branches` separate lists.
y = np.split(y, output_branches, axis=-1)
# Here y is not a numpy matrix anymore, but a list of matrices.
# E.g. y[0].shape() == (100, 1); y[1].shape() == (100, 1) etc...
outputs = []
main_input = tf.keras.layers.Input(shape=(seq_length, feature_cnt), name='main_input')
lstm = tf.keras.layers.LSTM(32, return_sequences=True)(main_input)
for _ in range(output_branches):
prediction = tf.keras.layers.LSTM(8, return_sequences=False)(lstm)
out = tf.keras.layers.Dense(1)(prediction)
outputs.append(out)
model = tf.keras.models.Model(inputs=main_input, outputs=outputs)
model.compile(optimizer='rmsprop', loss='mse')
model.fit(X, y)
您可能需要使用轴,因为您没有指定数据的确切外观。
编辑:由于作者正在寻找来自官方来源的答案,这里提到了它(虽然没有明确说明,它只提到了数据集应该产生什么,因此 -model.fit()
期望什么样的输入结构):
当使用 Dataset 对象调用 fit 时,它应该产生一个列表的元组 like
([title_data, body_data, tags_data], [priority_targets, dept_targets])
或一个字典的元组 like({'title': title_data, 'body': body_data, 'tags': tags_data}, {'priority': priority_targets, 'department': dept_targets})
。