时间戳

首页 > 解决方案 > 如何将 TimeDistributed 层与卷积层一起使用？

python - 如何将 TimeDistributed 层与卷积层一起使用？

问题描述

我正在尝试构建一个非常基本的自动驾驶汽车转向角预测问题。我有一个以 30fps 的速度拍摄的视频，我已经将它转换为大约 50000 的图像（即大约 25 分钟的镜头），我试图预测目标是转向角。

我尝试使用一些基本的卷积层，但我得到的 MSE 非常糟糕。所以，我正在尝试使用 CNN + RNN 来改进我的模型。因为我的数据是时间分布的，所以使用 RNN 是有意义的。

我不知道如何TimeDistributed Layer与这个一起使用LSTM。我基本上使用下面这样的东西，我有每个形状的图像width, height, channel = (200, 66, 3)

img_height = 66
img_width = 200
channels = 3

input_l = Input(shape=(img_height, img_width, channels))
x = layers.Conv2D(128, kernel_size=(5, 5))(input_l)
x = layers.Conv2D(256, kernel_size=(5, 5))(x)
x = Flatten()(x)
out = Dense(1)(x)
model = Model(inputs=input_l, outputs=out)
model.summary()

据我所知，TimeDistributedLayer 需要 4 个维度才能工作，但我的每个图像都是形状 (200, 66, 3) 以及如何将每个图像转换为四个维度。我无法弄清楚如何确切地使用它。我已经阅读了几篇文章，但没有一篇文章谈到这一点。

如何将时间分布层与 LSTM 合并到此架构中？任何人都可以提供有关如何实现它的示例代码。

标签： pythonpython-3.xtensorflowkerasconv-neural-network

解决方案

TimeDistributed 层假定维度 1 是时间维度（时间步长），因此您需要为图像数据添加时间维度。就像是： 

from keras import layers
from keras import models

time_steps = 10
img_height = 66
img_width = 200
channels = 3

input_l = layers.Input(shape=(time_steps, img_height, img_width, channels))
x = layers.TimeDistributed( layers.Conv2D( 32, kernel_size=(5, 5) ) ) (input_l)
x = layers.TimeDistributed( layers.Conv2D(256, kernel_size=(5, 5)) ) (x)
x = layers.Flatten()(x)
out = layers.Dense(1)(x)
model = models.Model(inputs=input_l, outputs=out)
model.summary()

我希望这有帮助。

推荐阅读