keras - 具有 3D 卷积和卷积 LSTM 的自动编码器
问题描述
我在编码器和解码器中实现了一个带有 CNN 层的变分自动编码器。代码如下所示。我的训练数据 ( train_X
) 包含 40'000 个大小为 64 x 80 x 1 的图像,我的验证数据 ( valid_X
) 包含 4500 个大小为 64 x 80 x 1 的图像。
我想通过以下两种方式调整我的网络:
而不是使用 2D 卷积(Conv2D 和 Conv2DTranspose),我想使用 3D 卷积来考虑时间(作为第三维)。为此,我想使用 10 个图像的切片,即我将拥有大小为 64 x 80 x 1 x 10 的图像。我可以只使用 Conv3D 和 Conv3DTranspose 还是需要进行其他更改?
我想在编码器和解码器中尝试卷积 LSTM (ConvLSTM2D),而不是普通的 2D 卷积。同样,图像的输入大小将是 64 x 80 x 1 x 10(即 10 个图像的时间序列)。如何调整我的网络以使用 ConvLSTM2D?
import keras
from keras import backend as K
from keras.layers import (Dense, Input, Flatten)
from keras.layers import Lambda, Conv2D
from keras.models import Model
from keras.layers import Reshape, Conv2DTranspose
from keras.losses import mse
def sampling(args):
z_mean, z_log_var = args
batch = K.shape(z_mean)[0]
dim = K.int_shape(z_mean)[1]
epsilon = K.random_normal(shape=(batch, dim))
return z_mean + K.exp(0.5 * z_log_var) * epsilon
inner_dim = 16
latent_dim = 6
image_size = (64,78,1)
inputs = Input(shape=image_size, name='encoder_input')
x = inputs
x = Conv2D(32, 3, strides=2, activation='relu', padding='same')(x)
x = Conv2D(64, 3, strides=2, activation='relu', padding='same')(x)
# shape info needed to build decoder model
shape = K.int_shape(x)
# generate latent vector Q(z|X)
x = Flatten()(x)
x = Dense(inner_dim, activation='relu')(x)
z_mean = Dense(latent_dim, name='z_mean')(x)
z_log_var = Dense(latent_dim, name='z_log_var')(x)
z = Lambda(sampling, output_shape=(latent_dim,), name='z')([z_mean, z_log_var])
# instantiate encoder model
encoder = Model(inputs, [z_mean, z_log_var, z], name='encoder')
# build decoder model
latent_inputs = Input(shape=(latent_dim,), name='z_sampling')
x = Dense(inner_dim, activation='relu')(latent_inputs)
x = Dense(shape[1] * shape[2] * shape[3], activation='relu')(x)
x = Reshape((shape[1], shape[2], shape[3]))(x)
x = Conv2DTranspose(64, 3, strides=2, activation='relu', padding='same')(x)
x = Conv2DTranspose(32, 3, strides=2, activation='relu', padding='same')(x)
outputs = Conv2DTranspose(filters=1, kernel_size=3, activation='sigmoid', padding='same', name='decoder_output')(x)
# instantiate decoder model
decoder = Model(latent_inputs, outputs, name='decoder')
# instantiate VAE model
outputs = decoder(encoder(inputs)[2])
vae = Model(inputs, outputs, name='vae')
def vae_loss(x, x_decoded_mean):
reconstruction_loss = mse(K.flatten(x), K.flatten(x_decoded_mean))
reconstruction_loss *= image_size[0] * image_size[1]
kl_loss = 1 + z_log_var - K.square(z_mean) - K.exp(z_log_var)
kl_loss = K.sum(kl_loss, axis=-1)
kl_loss *= -0.5
vae_loss = K.mean(reconstruction_loss + kl_loss)
return vae_loss
optimizer = keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.000)
vae.compile(loss=vae_loss, optimizer=optimizer)
vae.fit(train_X, train_X,
epochs=500,
batch_size=128,
verbose=1,
shuffle=True,
validation_data=(valid_X, valid_X))
非常感谢你的帮助。对此,我真的非常感激。
解决方案
将您的输入形状设置为(10, 64 , 80, 1)
并替换图层。
无聊的部分是组织输入数据,如果你打算使用滑动窗口或者只是从(images, 64,80,1)
to重塑(images//10, 10, 64,80,1)
。
滑动窗口(重叠)与否?
1 - 好的....如果您希望您的模型理解 10 个图像的各个部分,您可能会重叠或不重叠。你的选择。重叠的性能可能会更好,但不一定。
图像中没有真正的顺序,只要 10 帧是按顺序排列的。
这由Conv3D
和LSTM
with支持stateful=False
。
2 - 但是如果你想让你的模型理解整个序列,仅仅因为记忆而划分序列,只有LSTM
withstateful=True
可以支持这一点。
(Conv3D
内核大小 =的 A(frames, w, h)
可以工作,但仅限于frames
,永远不会理解长于 的序列frames
。它可能仍然能够检测到准时事件的存在,但不是长序列关系)
在这种情况下,LSTM
您需要:
- 设置
shuffle = False
在训练中 - 使用固定的批量大小
sequences
- 不重叠图像
- 创建一个手动训练循环,
model.reset_states()
每次为训练和预测提供“新序列”时都会这样做
循环结构将是:
for epoch in range(epochs):
for group_of_sequences in range(groups):
model.reset_states()
sequences = getAGroupOfCompleteSequences() #shape (sequences, total_length, ....)
for batch in range(slide_divisions):
batch = sequences[:,10*batch : 10*(batch+1)]
model.train_on_batch(batch, ....)
推荐阅读
- python - 循环不工作,
- c++ - 此代码中是否存在悬空指针问题?
- installation - 如何从 install4j 运行包文件(.pkg)
- google-cloud-platform - 数据流作业 - HTTP 400 非空数据
- javascript - 在单独的文件中导出函数调用
- python - FFmpeg concat demuxer not working:没有错误,也没有输出
- python - 我无法安装 pyaudio,出现了一个奇怪的错误?
- javascript - 缩小反应错误 #301 | 无限循环 | 重新渲染
- assembly - 为什么其他角色没有出现?
- python - 重命名 Pandas 数据框的一列并更改其类型