[发明专利]基于平行视差的移动相机虚拟阵列标定方法

说明书

技术领域

本发明涉及一种移动相机虚拟阵列标定方法，特别是涉及一种基于平行视差的移动相机虚拟阵列标定方法。

背景技术

在众多多视点采集设备中，稠密相机阵列被广泛地应用于采集光场、自由视点成像以及合成孔径成像中。传统的相机阵列多由稠密排布若干个的固定相机构成，其标定方法主要有：完整的相机内部参数与外部参数标定和平行视差的标定方法。

文献“Using Plane+Parallax for Calibrating Dense Camera Arrays，IEEE CVPR2004，Vol.1Page.I-2-I-9”公开了一种稠密相机阵列的构造形式并给出了基于平行视差(Plane+Parallax)方法的固定相机阵列标定方法。该相机阵列系统右共面排布的128个固定相机以及图像采集节点构成，可用于光场采集、基于图像的绘制渲染技术以及合成孔径成像等应用。然而，该相机阵列系统仍存在如下劣势：首先，由于相机的位置是固定的，并不能够根据所拍摄场景的特点自适应地改变拍摄视角或增加新的视点，其次，由于相机数量较多，系统构建、图像采集以及相机参数控制等方面均需花费较多的人力物力。文献利用阵列系统中各相机光心共面的特点对相机阵列进行标定。文献中定义了与各相机所在平面的所平行的两个虚拟平面：参考平面与聚焦平面。标定过程首先利用各相机共同拍摄的合作标定标志物估计由各相机与某个指定的参考相机之间由参考平面诱导的单应(Homography)投影矩阵。进而对由参考平面向聚焦平面的投影矩阵(Homology)进行估计。文献中指出在相机平面、参考平面和聚焦平面互相平行时，此投影矩阵退化为纯平移，并可以由对各相机在参考平面的视差进行计算。

发明内容

为了克服现有基于平行视差的固定相机阵列标定方法需要多台相机的不足，本发明提供一种基于平行视差的移动相机虚拟阵列标定方法。该方法利用直线导轨上平行移动的单个相机模拟一个虚拟的相机阵列系统，对各视点所拍摄图像中的特征点进行跟踪并以此估计多视角相机姿态。利用得到的各视角姿态，首先定义一个与直线导轨向平行的参考平面，对由此平面诱导的各视角和某一参考视角的单应矩阵进行估计。而后此单应矩阵计算各视角与参考视角在参考平面的视差。各视点的相对位置由对视差矩阵的SVD分解计算所得。利用本发明方法，可以对静态场景中的被遮挡目标进行透视成像，达到良好的去遮挡效果。

本发明解决其技术问题所采用的技术方案是：一种基于平行视差的移动相机虚拟阵列标定方法，其特点是包括以下步骤：

步骤一、首先对输入的图像序列进行SIFT特征点检测与匹配，使用RANSAC鲁棒估计方法对所检测到的特征点进行外点去除。而后利用各视角二维图像上的图像特征对应内点，恢复各视角的姿态、相机内参数以及场景中若干稀疏点的三维坐标；最后对所有帧的估计结果在捆集调整的框架下进行整体优化。该步骤结束后，建立空间三维点在各视角图像上的投影方程：

x_i＝P_iX

其中X为世界坐标系下点的三维坐标，P_i为估计出的第i个视角的相机姿态以及内参数矩阵。

步骤二：设相机在直线导轨上的运动过程中，各视点光心所处平面为相机平面，与相机平面所平行的参考平面为∏_R；设在相机运动过程中，共在k个不同视角采集了图像，即V₁,...，V_R,...，V_k，其中V_R为一个用来度量视差的参考视角。设H_i表示由∏_R诱导的从V_i到V_R的单应矩阵。在参考平面上有j个控制点XR1,...，X_Rj，利用第一步所估计出的P_i矩阵，将X_R1,...，X_Rj投影至各视角图像上，利用黄金标准算法对平面∏_R诱导单应进行估计。