简谈毕业设计实现思路—-1

Apr 13th, 2008 by foelin

我毕设的题目是关于摄像机参数的估计，也就是摄像机标定，属于计算机视觉中三维重建这一块的一个步骤。之前对此完全是一无所知，且略感神秘莫测，心想2维图像岂能重建出三维信息？！诡异～～
开学以来，断断续续的看了点资料，也开了几次毕设的会，于是乎有了些似是而非的理解，也有了些初步的想法。话说今天早上再得LZ老师一番悉心指点，可谓是醍醐灌顶，豁然开朗~~对于利用绝对2次曲线来计算内参中的焦距的晦涩原理也终于理解的比较清楚了，加上之前已经知道了外参的计算方法，于是乎我的论文的思路也基本上清晰起来了。这里简单的记录一下，以便以后查阅。

OK，Let’s begin

在此之前，先解释一下三维重建的流程。我就两视的三维重建系统来简单说明一下。

首先引入一个两视三维重建系统的实物图和原理图，如下所示。

3d-recon
该系统中，两个摄像机同时拍摄实际场景中的物体，因此得到了左边的像平面和右边的像平面（实际上摄像机的成像平面位于光心之后，这里为了便于讨论，将其对称的搬到光心之前），左像平面和右像平面上都存在物体的像。

   首先根据特征点提取算法，把左像和右像中的特征点提取出来得到两个特征点集，这里讨论的特征点一般都是角点（角点是边缘的交点）。此两个特征点集U,U’ 中的点必然有某些同时对应物体上的某个点，特征点配准算法的作用就是在找到这样的点对（u1，u’1），它们对应于物体上的同一个点X。
   其次，根据找出的若干匹配点，由外极几何可知，他们满足关系式：

其中F被称为基础矩阵，是一个秩为2的3×3矩阵。此时通过所谓的八点算法，利用八个匹配点对就可以计算出F中的每个元素。此F中蕴含了摄像机的内部参数和外部参数，我的工作就是通过F得到他们。
   最后，根据计算出的外部参数和内部参数，很容易得到摄像机矩阵P，P’。根据PX=u，P’X=u’，则可以很容易的计算出物体的三维坐标X。至此，物体的3维坐标恢复完成，可以得到物体的网格形状。随后再进行纹理重建之类的运算。

   OK，三维重建系统大概就是这么回事，现在来考虑我做的摄像机内部参数和外部参数估计。由于上面已经提到基础矩阵F可以很容易的计算得到，那么现在的问题就是如何从基础矩阵推导出内部参数和外部参数。
   首先解释了什么是外部参数和内部参数。
   由于两台摄像机各自具备一个三维正交坐标系，如果将其中一个坐标系作为基准，则另一个坐标系与基准坐标系间的差异称为该摄像机的外部参数。可以通过一个旋转矩阵和一个平移向量来表示这种差异，如下所示：

   所谓内部参数包括如下几种因素：
      1.焦距：摄像机镜头（透镜）光心到成像平面的距离
      2.成像平面倾斜角：成像平面的竖直边界与水平边界间夹角有时并不是90度，如果此夹角不是90度，则物体所成的像在形状上会有改变。
      3.图像放缩因子：物体在成像平面上的像在水平、竖直方向上呈现放缩变换，放缩的比例即为放缩因子。
      4.成像平面中心点位置：透镜光心在成像平面上的投影点位置。
   可以通过如下内参矩阵来表示：
                                       clip_image002[9]
   那么，摄像机矩阵，就可以用内参阵和外参阵的乘积来表示：
                                       clip_image002[11]
   了解了外参和内参后，就来讨论如何得出他们，这正是我毕业论文的重点所在。考虑到详细的阐述需要花费大量的篇幅，所以这里先写一个思路，更为具体的东西写在毕业论文中，等完成后再来这里写一下。
   首先，说明一个前提。那就是根据匹配点的配准关系，只能估计出内参中的fx和fy，其他的无法抽取出来。所以我们可以合理的假设s，ty，tx都为零（也就是假设成像平面竖直和水平边界成90度，且成像平面中心点位于图像坐标原点），那么内参阵就可以写成对角矩阵diag（fx，fy，1）这样的形式。
   好了，下面说思路。
   简单的说，先通过引入绝对2次曲线（复空间中位于无穷远处的曲线，是绝对2次曲面与无穷远平面的交线）来去除平移和旋转对成像的影响，只保留下内参的影响。然后根据Richard I. Hartley的Extraction of focal lengths from fundamental Matrix这篇文章中提到的方法，计算出fx，fy，即简化后的内参阵K。然后由基础矩阵和本质矩阵间的关系：