时间戳

首页 > 解决方案 > Keras 中的 GRU/LSTM，输入序列长度可变

keras - Keras 中的 GRU/LSTM，输入序列长度可变

问题描述

我正在做一个较小的项目以更好地理解 RNN，尤其是 LSTM 和 GRU。我根本不是专家，所以请记住这一点。

我面临的问题是以以下形式给出的数据：

>>> import numpy as np
>>> import pandas as pd
>>> pd.DataFrame([[1, 2, 3],[1, 2, 1], [1, 3, 2],[2, 3, 1],[3, 1, 1],[3, 3, 2],[4, 3, 3]], columns=['person', 'interaction', 'group'])
   person  interaction  group
0       1            2      3
1       1            2      1
2       1            3      2
3       2            3      1
4       3            1      1
5       3            3      2
6       4            3      3

这只是为了解释。我们有不同的人以不同的方式与不同的群体互动。我已经对各种功能进行了编码。用户的最后一次交互总是 a 3，这意味着选择某个组。在上面的简短示例中person 1选择 group 2，person 2选择 group1等等。

我的整个数据集要大得多，但我想先了解概念部分，然后再投入模型。我想学习的任务是一个交互序列，由个人选择哪个组。更具体一点，我想输出一个包含所有组（有 3 个组1, 2, 3）的列表，按最可能的选择排序，然后是第二和第三个最喜欢的组。因此，损失函数是一个平均倒数等级。

我知道在 Keras Grus/LSTM 中可以处理各种长度的输入。所以我的三个问题是。

输入的格式为：

(samples, timesteps, features)

编写高级代码：

import keras.layers as L
import keras.models as M
model_input = L.Input(shape=(?, None, 2))

timestep=None应该暗示不同的大小并且2是针对功能的interaction和group。但是样品呢？如何定义批次？

对于输出，我有点困惑，在这个例子中应该是什么样子？我认为对于一个人的每一次最后一次互动，我都希望有一个长度列表3。假设我已经设置了输出

model_output = L.LSTM(3, return_sequences=False)

然后我想编译它。有没有办法使用平均倒数等级？

model.compile('adam', '?')

我知道这些问题的水平相当高，但我想先了解大局并开始尝试。因此，任何帮助将不胜感激。

标签： keraslstmrecurrent-neural-network

解决方案

您在问题中提出的概念已经是一个很好的开始。我将添加一些东西来使它工作，以及下面的代码示例：

  • 您可以LSTM(n_hidden, input_shape=(None, 2))直接指定，而不是插入额外的Input层；定义中将省略批次维度。
  • 由于您的模型将执行某种分类（基于时间序列数据），因此最后一层也是我们对“正常”分类的期望，a Dense(num_classes, action='softmax'). LSTM将和层链接Dense在一起将首先通过层传递时间序列输入LSTM，然后将其输出（由隐藏单元的数量确定）馈送到Dense层。activation='softmax'允许为每个类计算一个类分数（我们将在数据预处理步骤中使用 one-hot-encoding，请参见下面的代码示例）。这意味着课程分数没有排序，但您始终可以通过np.argsort或来排序np.argmax。
  • 分类交叉熵损失适合比较分类分数，所以我们将使用它model.compile(loss='categorical_crossentropy', optimizer='adam')：
  • 由于互动次数。即模型输入的长度，因样本而异，我们将使用批量大小为 1 并一次输入一个样本。

以下是针对上述考虑的示例实现。请注意，我稍微修改了您的示例数据，以便在组选择背后提供更多“推理”。并且每个人在选择组之前需要至少进行一次交互（即输入序列不能为空）；如果您的数据不是这种情况，那么引入额外的无操作交互（例如0）会有所帮助。

import pandas as pd
import tensorflow as tf

model = tf.keras.models.Sequential()
model.add(tf.keras.layers.LSTM(10, input_shape=(None, 2)))  # LSTM for arbitrary length series.
model.add(tf.keras.layers.Dense(3, activation='softmax'))   # Softmax for class probabilities.
model.compile(loss='categorical_crossentropy', optimizer='adam')

# Example interactions:
#   * 1: Likes the group,
#   * 2: Dislikes the group,
#   * 3: Chooses the group.
df = pd.DataFrame([
    [1, 1, 3],
    [1, 1, 3],
    [1, 2, 2],
    [1, 3, 3],
    [2, 2, 1],
    [2, 2, 3],
    [2, 1, 2],
    [2, 3, 2],
    [3, 1, 1],
    [3, 1, 1],
    [3, 1, 1],
    [3, 2, 3],
    [3, 2, 2],
    [3, 3, 1]],
    columns=['person', 'interaction', 'group']
)
data = [person[1][['interaction', 'group']].values for person in df.groupby('person')]
x_train = [x[:-1] for x in data]
y_train = tf.keras.utils.to_categorical([x[-1, 1]-1 for x in data])  # Expects class labels from 0 to n (-> subtract 1).
print(x_train)
print(y_train)

class TrainGenerator(tf.keras.utils.Sequence):
    def __init__(self, x, y):
        self.x = x
        self.y = y

    def __len__(self):
        return len(self.x)

    def __getitem__(self, index):
        # Need to expand arrays to have batch size 1.
        return self.x[index][None, :, :], self.y[index][None, :]

model.fit_generator(TrainGenerator(x_train, y_train), epochs=1000)
pred = [model.predict(x[None, :, :]).ravel() for x in x_train]
for p, y in zip(pred, y_train):
    print(p, y)

以及相应的样本输出：

[...]
Epoch 1000/1000
3/3 [==============================] - 0s 40ms/step - loss: 0.0037
[0.00213619 0.00241093 0.9954529 ] [0. 0. 1.]
[0.00123938 0.99718493 0.00157572] [0. 1. 0.]
[9.9632275e-01 7.5039308e-04 2.9268670e-03] [1. 0. 0.]

使用自定义生成器表达式：根据文档，我们可以使用任何生成器来生成数据。生成器预计会产生批量数据并无限期地循环整个数据集。使用时tf.keras.utils.Sequence我们不需要指定参数steps_per_epoch，因为这将默认为len(train_generator). 因此，当使用自定义生成器时，我们也应提供此参数：

import itertools as it

model.fit_generator(((x_train[i % len(x_train)][None, :, :],
                      y_train[i % len(y_train)][None, :]) for i in it.count()),
                    epochs=1000,
                    steps_per_epoch=len(x_train))

推荐阅读