[发明专利]基于空间三角面片拟合的图像拼接方法

说明书

本发明提出一种基于空间三角面片拟合的透视图像拼接方法。该方法通过对被拍摄场景结构的面片化近似处理，将被拍摄场景近似为一系列空间面片的组合，并在相机坐标系的单位投影面上逐面片地求解3参数的平面投影变换。在配准精度方面，达到了比图像坐标系下8参数单应变换更高的稳定性，因此能够达到更好的拼接效果。在计算效率方面，达到了比现有的基于匹配数据加权的局部变换模型更低的计算复杂度，能够满足更多实际应用的需求。

技术领域

本发明属于图像信息处理领域，涉及图像拼接方法，尤其涉及基于空间三角面片拟合的透视图像拼接方法。

背景技术

全景图像因其远大于人眼的视场角，在监控、侦查、影视制作以及虚拟现实等领域具有巨大应用价值。拼接式全景成像兼具大视场角和高分辨率的优点，正逐渐成为主流的全景图像采集方式。计算机硬件能力的不断提高和并行计算技术的快速发展也为多路图像甚至视频数据的快速处理提供了有利的现实条件。在计算机视觉和图像处理理论与技术的发展过程中，关于图像拼接技术的创新受到越来越广泛的关注。

图像拼接的目的是以尽可能小的计算代价输出高质量的全景图像。在多幅图像的拍摄过程中，相机的拍摄角度和位置的变化会导致图像之间出现结构偏差，即同一物体在不同图像中呈现出形状或位置上的差异。在场景深度未知的情况下，得到各路图像之间的精确投影关系是困难的。

在过去几十年中，一系列基于不同数学理论的图像拼接方法被提出。其中，传统的全局方法通常使用全局变换将所有输入图像投影到统一的观察平面，目前主流的图像拼接软件通常基于这一方案实现。若相机的光心保持不动或被拍摄场景是近似平面的，全局变换能够得到令人满意的结果；但若图像间存在明显的视差，全局变换的结果就会导致所得全景图像中出现纹理的模糊、重影或断裂等问题。

为消除视差对拼接质量的影响，研究者们提出了一系列局部自适应的图像变换方案，取代单一的全局变换，以达到更高的配准精度。但现有局部变换模型在匹配信息不足或纹理不丰富的区域可能产生不稳定的结果，且需要消耗大量的计算资源，无法满足实际应用对算法效率的要求。

发明内容

本发明提出一种基于空间三角面片拟合的透视图像拼接方法。将被拍摄场景近似为一系列空间面片的组合，并在相机坐标系的单位投影面上逐面片地求解3参数的平面投影变换。与图像坐标系下8参数的单应变换相比，所提方法在应用于图像配准时具有更高的稳定性，因此能够达到更好的拼接效果。与现有的基于匹配数据加权的局部变换模型相比，所提方法具有更低的计算复杂度，因此能够达到更高的计算效率。

具体地，本发明采用的技术方案是：

一种基于空间三角面片拟合的透视图像拼接方法，包括以下步骤：

S1.对有重叠区域的两幅输入图像进行特征提取与匹配，得到图像间的匹配特征点；

S2.在S1中得到的匹配特征点基础上，通过最小化关于相机参数的代价函数，得到一组近似的相机参数；

S3.利用S2中得到的相机参数，通过两步RANSAC，剔除S1中得到匹配点中的误匹配点；

S4.在S3中得到的正确匹配特征点基础上，对相机坐标系下的单位投影平面进行三角划分；

S5.在S2中得到的相机参数与S4中得到的三角划分基础上，求解每一个空间三角面片的参数；

S6.在S5中得到的三角面片参数基础上，逐面片地渲染得到精确配准的重投影图像；

S7.在S6中得到的重投影图像基础上，通过图像融合得到最终的全景图像。

优选地，所述步骤S2的具体方法包括：

用于拍摄图像I与I′的相机分别为C与C′；根据特征匹配结果进行相机参数估计的核心理论依据是极线约束：

x′^TFx＝0