时间戳

首页 > 解决方案 > 我如何处理基本矩阵？

python - 我如何处理基本矩阵？

问题描述

我正在尝试从多个 2d 图像重建 3d 形状。我已经计算了一个基本矩阵，但现在我不知道如何处理它。

我在堆栈溢出和学术论文上发现了多个相互矛盾的答案。例如，Here说您需要从基本矩阵计算旋转和平移矩阵。

这里说你需要找到相机矩阵。

这里说你需要找到单应性。

这里说你需要找到极线。

是哪个？？（我该怎么做？我读过H&Z 的书，但我不明白。它说我可以在结果 9.14 中“轻松”使用“直接公式”，但结果 9.14 既不容易理解，也不直接理解。）

堆栈溢出需要代码，所以这是我目前所拥有的：

    # let's create some sample data

    Wpts = np.array([[1, 1, 1, 1],  # A Cube in world points
                     [1, 2, 1, 1],
                     [2, 1, 1, 1],
                     [2, 2, 1, 1],
                     [1, 1, 2, 1],
                     [1, 2, 2, 1],
                     [2, 1, 2, 1],
                     [2, 2, 2, 1]])


    Cpts = np.array([[0, 4, 0, 1],  #slightly up
                     [4, 0, 0, 1],
                     [-4, 0, 0, 1],
                     [0, -4, 0, 1]])
    Cangles = np.array([[0, -1, 0],  #slightly looking down
                        [-1, 0, 0],
                        [1, 0, 0],
                        [0,1,0]])



    views = []
    transforms = []
    clen = len(Cpts)
    for i in range(clen):
        cangle = Cangles[i]
        cpt = Cpts[i]

        transform = cameraTransformMatrix(cangle, cpt)
        transforms.append(transform)
        newpts = np.dot(Wpts, transform.T)
        view = cameraView(newpts)
        views.append(view)



H = cv2.findFundamentalMat(views[0], views[1])[0]
## now what???  How do I recover the cube shape?

编辑：我不知道相机参数

标签： pythonopencvmatrix3dfundamental-matrix

解决方案

基本矩阵

首先，听基本的矩阵歌曲；）。

基本矩阵仅显示 2 个图像（x' - 图像 2，x - 图像 1）中的点对应关系之间的数学关系。“这意味着，对于所有对应点对都成立eq1” （维基百科）。这也意味着，如果您有异常值或不正确的点对应关系，它会直接影响基本矩阵的质量。

此外， 3幅图像之间的点对应关系也存在类似的结构，称为三焦张量。

仅使用基本矩阵属性的 3d 重建是不可能的，因为“对极几何是两个视图之间的内在投影几何。它独立于场景结构，仅取决于相机的内部参数和相对姿势。” （赫兹，第 239 页）。

相机矩阵

参考您的问题如何从多个图像中重建形状，您需要了解图像的相机矩阵（K'，K）。相机矩阵是一个 3x3 矩阵，由相机焦距或主距离 (fx, fy) 以及光学中心或主点 (cx, cy) 组成。

eq2

您可以使用相机校准导出相机矩阵。

基本矩阵

当您了解相机矩阵时，您可以将基本矩阵扩展到基本矩阵 E。

eq3

您可以说您的基本矩阵现在已“校准”，这很草率。

与第一张图像相比，基本矩阵可用于获取第二张图像的旋转（旋转矩阵 R）和平移（矢量 t），直至投影重建。t 将是一个单位向量。为此，您可以使用 OpenCV 函数decomposeEssentialMat或recoverPose（使用手性检查）或阅读 HZ 中的进一步详细说明。

投影矩阵

了解您的平移和旋转后，您可以为图像构建投影矩阵。投影矩阵定义为eq4。最后，您可以使用三角测量 ( triangulatePoints) 导出图像点的 3d 坐标。我建议使用后续捆绑调整来获得正确的配置。openCV中还有一个sfm模块。

由于单应性或极线知识对于 3d 重建并不是必需的，因此我没有解释这些概念。

推荐阅读