python - 联合 2D/1D 序列到 2D 序列

Question

我需要解决以下问题：

假设我们在一个盒子里有一个球，在四处弹跳。每个 T_ball，我都得到了盒子内球的图像。每个 T_occlusions，我得到图像沿 x 或 y 轴的最大值（也就是说，没有噪声，我将得到球的 x 或 y 位置）。

通常，T_occlusions << T_ball. 我想获得一种球的运动预测，作为图像，每个 T_occlusions。

现在让我们考虑 T_occlusions 和 T_ball 是常数。

这种情况如下所示，对于 T_occlusions = T_ball/2。

通过 Keras 中的 4 层 ConvLSTM 网络，我已经可以在不使用遮挡的情况下预测下一帧。

如何将 1D/2D 数据连接在一起？

我想到了以下几点：

• 对图像进行上采样（对于每个遮挡，考虑最后一个输入图像），并向向量添加一个标量，指示自上一个已知图像以来的时间。这应该解决频率不匹配问题，同时告诉网络输入图像不是全新的。

• 对遮挡进行上采样，为图像创建第二个深度，并将其提供给 ConvLSTM

我如何训练网络仅基于每个 T_ball 的基本事实来生成正确的中间图像？

我可以考虑对输入序列进行训练：(I0,O0),(I0,O1),(I1,O2),(I1,O3)，并期望它给出 I2 吗？

有没有我可以使用的网络？也许是两个独立的网络，交换信息（一个 LSTM 和一个 ConvLSTM）？

最后，T_ball 并不是真正恒定的，而是在一个序列内和序列之间变化。我想到了对其进行上/下采样以适应我的网络。难道没有别的办法了吗？我可以在每批中选择具有相同模式的序列，并希望最好吗？

非常感谢 ！

标签： pythonpython-3.xtensorflowmachine-learningkeras