computer-vision - 迭代 lucas kanade 光流

Question

下面是我在网上找到的迭代 LK 的算法。我不明白为什么在第 4 步中它只重新计算 It 而不是 Ix Iy？

据我了解，输入是两个图像 Im1、Im2 和速度 uv，目标是细化 u 和 v，因为 LK 在运动较大时效果不佳。

对于 Im1 中的每个点 (x,y)，都有对应的 u 和 v，因此我们将 Im2 中的窗口（例如 3x3）移动 u 和 v 个像素，从 (x,y) 到 (x',y') . 现在我们有两个窗口，第一个窗口是在 Im1 中以 (x,y) 为中心的窗口，第二个是在 Im2 中以 (x',y') 为中心的窗口，因为 (x',y') 不是整数，我们在这个窗口中插入子像素值。

我们使用来自两个窗口的值计算 delta_u 和 delta_v。但是，指令说我们应该只使用 new It 而不是 new Ix Iy。

标签： computer-visionopticalflow