时间戳

首页 > 解决方案 > 基于内在和外在相机参数计算单应矩阵

computer-vision - 基于内在和外在相机参数计算单应矩阵

问题描述

我愿意为6个鱼眼相机进行360°全景拼接。

为了找到相机之间的关系，我需要计算单应矩阵。后者通常是通过在图像中找到特征并匹配它们来计算的。

但是，对于我的相机设置，我已经知道：

因此，我认为我可以手动计算 Homography Matrix，我假设这会产生比执行特征匹配更准确的方法。

在文献中，我发现了以下公式来计算将图像 2 与图像 1 相关联的单应矩阵：

H_2_1 = (K_2) * (R_2)^-1 * R_1 * K_1

这个公式只考虑了相机之间的旋转角度，而不是我的例子中存在的平移向量。

如何将每个相机的平移 t 插入 H 的计算中？

我已经尝试在不考虑平移的情况下计算 H，但是由于 d>1 米，图像在全景图片中没有准确对齐。

编辑：

根据下面弗朗切斯科的回答，我得到了以下问题：

标签： computer-visionhomographyimage-stitching360-panoramaprojective-geometry

解决方案

您不能“插入”翻译：它的存在以及非平凡的旋转在数学上意味着图像之间的关系不是单应性。

但是，如果成像场景距离相机“足够远”，即如果相机之间的平移与场景对象与相机的距离相比较小，并且相机的焦距足够小，那么您可以使用由纯旋转引起的单应性作为近似值。

你的等式是错误的。得到正确的公式如下：

  • 在相机 1 中取一个像素：p_1 = (x, y, 1)在齐次坐标中
  • 将其投影到 3D 空间中的射线中：P_1 = inv(K_1) * p_1
  • 分解摄像机 2 坐标中的射线：P_2 = R_2_1 * P1
  • 将光线投影到相机 2 中的像素中：p_2 = K_2 * P_2
  • 把方程放在一起：p_2 = [K_2 * R_2_1 * inv(K_1)] * p_1

乘积H = K2 * R_2_1 * inv(K1)是（近似）单应性。旋转 R_2_1 将点从第 1 帧转换到第 2 帧。它是一个 3x3 矩阵，其列是在第 2 帧中分解的第 1 帧的 x、y、z 轴的分量。如果您的设置为您提供了所有摄像机的旋转对于一个共同的帧0，即R_i_0，那么它是R_2_1 = R_2_0 * R_1_0.transposed。

一般来说，你应该使用上面的单应性作为初始估计，通过匹配点和优化来细化。这是因为 (a) 单应性模型本身只是一个近似值（因为它忽略了平移），并且 (b) 机械设置（即使是校准的）给出的旋转受到误差的影响。使用匹配的像素来优化转换将最大限度地减少图像上重要的错误，而不是抽象旋转空间中的错误。

推荐阅读