python - 如何将向量中的数值和分类值组合为 LSTM 的输入?
问题描述
import pandas as pd
import numpy as np
rands = np.random.random(7)
days = ['Sunday', 'Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday']
dates = pd.date_range('2018-01-01', '2018-01-07')
df = pd.DataFrame({'date': dates, 'days': days, 'y': rands})
df_days_onehot = pd.get_dummies(df.days)[days]
df[days] = df_days_onehot
df['target'] = df.y.shift(-1)
df.drop('days', axis=1, inplace=True)
df.set_index('date', inplace=True)
X = df.iloc[:, :-1].values
y = df.iloc[:, -1].values
我在上面分享了一个代码示例。我的问题是我应该如何将数值变量和分类变量组合为 LSTM 的输入?
输入向量应该如何?
- 它应该像 [0.123, 0, 1, 0, 0 ...] (就像代码中的 X)dim = (1,8) 吗?
- 它应该像 [0.123, [0, 1, 0, 0...]] dim(1,2)
- 或者是否有特定的方式/方式将输入传递给 ANN 或 RNN 等。如果是,它是什么,为什么我们应该使用它/它们(优点/缺点)?
我阅读了有关嵌入的内容,但这些解释对我来说似乎还不够,因为我想了解所有这些背后的逻辑。
像这样的东西...
model = Sequential()
model.add(LSTM(64, batch_input_shape=(batch_size, look_back, 1), stateful=True, return_sequences=True))
model.add(Dropout(0.3))
model.add(LSTM(32, batch_input_shape=(batch_size, look_back, 1), stateful=True))
model.add(Dropout(0.3))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer=adam)
model.fit(trainX, trainY, epochs=100, batch_size=batch_size, verbose=2, shuffle=False)
任何指导、链接、解释或帮助都将得到应用......祝您有美好的一天。
解决方案
在处理各种范围的输入(如归一化等)时,可以查看多种预处理。一个热表示当然是表示类别的好方法。
当类别元素过多导致热编码非常大时,使用嵌入。它们提供了对给定输入进行编码的向量表示(可能是可训练的)。您可以在下面的链接中阅读有关它们的更多信息。嵌入的使用在 NLP 中非常普遍。
https://towardsdatascience.com/deep-learning-4-embedding-layers-f9a02d55ac12
除此之外,您还可以利用 Keras 建模支持多个输入层这一事实。
对于您的具体情况,这是一个可以帮助您入门的虚构示例。同样,我添加了一些密集的隐藏层只是为了证明这一点。它应该是不言自明的
X1 = rands
X2 = df_days_onehot
Y = np.random.random(7)
float_input = Input(shape=(1, ))
one_hot_input = Input(shape=(7,) )
first_dense = Dense(3)(float_input)
second_dense = Dense(50)(one_hot_input)
merge_one = concatenate([first_dense, second_dense])
dense_inner = Dense(10)(merge_one)
dense_output = Dense(1)(dense_inner)
model = Model(inputs=[float_input, one_hot_input], outputs=dense_output)
model.compile(loss='mean_squared_error',
optimizer='adam',
metrics=['accuracy'])
model.summary()
model.fit([X1,X2], Y, epochs=2)
推荐阅读
- pine-script - 在代码交易视图中隐藏图表、数量和信号标签上的交易
- javascript - Angular 8 - 未加载运行时编译器错误
- reactjs - 当 T 有条件时,TypeScript 无法推断泛型类型
- javascript - Google Apps 脚本两次创建日历条目
- c - 将大量可变整数从数组写入文本文件的有效方法
- javascript - 如何使用 HTML with variables (with Vanilla JS)
Currently I'm doing the following:
This is my HTML template
<template id="catDisplayTemplate">
- python - how to use If statement on Plotly visualisation "mode"
- javascript - Sequelize - One to Many relationship lazy load and return one instance and not a collection
- go - 如何重置 $GOROOT
- github - 我能否确保没有人分叉我的 GitHub 存储库,但仍允许招聘人员看到工作?