[发明专利]基于空间三角面片拟合的图像拼接方法

权利要求书

1.一种基于空间三角面片拟合的透视图像拼接方法，其特征在于包括以下步骤：

S1.对有重叠区域的两幅输入图像进行特征提取与匹配，得到图像间的匹配特征点；

S2.在S1中得到的匹配特征点基础上，通过最小化关于相机参数的代价函数，得到一组近似的相机参数；

S3.利用S2中得到的相机参数，通过两步RANSAC，剔除S1中得到匹配点中的误匹配点；

S4.在S3中得到的正确匹配特征点基础上，对相机坐标系下的单位投影平面进行三角划分；

S5.在S2中得到的相机参数与S4中得到的三角划分基础上，求解每一个空间三角面片的参数；

S6.在S5中得到的三角面片参数基础上，逐面片地渲染得到精确配准的重投影图像；

S7.在S6中得到的重投影图像基础上，通过图像融合得到最终的全景图像；

所述步骤S2的具体方法包括：

用于拍摄图像I与I′的相机分别为C与C′；根据特征匹配结果进行相机参数估计的核心理论依据是极线约束：

x′^TFx＝0

其中，x与x′为图像I与I′中的一对匹配点，F为基本矩阵；除此之外，增加关于全局投影的二级约束：

x′～Hx

其中，～表示正比关系，H为单应矩阵；则对于一对匹配点{x,x′}，需最小化的代价函数为：

E(x,x′)＝h(r_e,σ_e)+λh(r_p,σ_p)

其中，系数λ用于控制r_p的影响，取为λ＝0.01，函数h(·)为具有误匹配抑制能力的Huber误差函数：

参数σ_e与σ_p分别表示极线约束与全局投影约束下正常误差的上限，残差二者的度量单位均为像素，y＝K^-1x，y′＝K′^-1x′，其中K与K′分别为两相机C与C′的内参数矩阵，Q为本征矩阵，且Q＝[t]_×R，其中R与t分别为C与C′的相机坐标系间的旋转矩阵与平移向量；在r_e的表达式中，记(a,b,c)^T＝Qy，则标准化参数其中f_x′与f_y′分别为相机C′在x，y方向上的等效焦距；在r_p的表达式中，系数w＝r₃^Ty，其中r₃^T为R的第三行；

对于所有匹配点{x_i,x_i′}，以及它们对应的残差r_e,i与r_p,i，i＝1,…,n，总的代价函数为：

E^all是关于残差r_e与r_p的二次函数，因此E^all的最小化通过LM迭代实现，所得结果是一组真实相机参数的近似值；其中K，K′为内参数，R，t为外参数；

所述步骤S4的具体方法包括：

给定剔除误匹配之后的匹配点{x_i,x′_i|i＝1,…,n}，其中n表示正确匹配点的数量，以y_i＝K^-1x_i，i＝1,…,n为顶点，对单位投影平面进行delaunay三角划分，所得平面三角形代表空间三角面片在C的相机坐标系内单位投影平面上的投影；为保持空间三角面片模型的一致性，对于C′的相机坐标系下的顶点y′_i＝K′^-1x′_i，i＝1,…,n，适用与y_i相一致的三角划分；

所述步骤S5的具体方法包括：

图像I与I′内一对匹配点x与x′是同一空间点P在不同相机成像平面上的投影；x与x′之间的变换关系表示为x′～Hx

其中

H＝K′(R+tm^T)K^-1

在已估计得到相机参数的情况下，描述点P所在三角面片的参数m是H各组成部分中唯一的未知量，其自由度为3；记y＝K^-1x，y′＝K′^-1x′，则投影关系转化为

y′～(R+tm^T)y

根据上式，向量y′与(R+tm^T)y平行，则

y′×(R+tm^T)y＝0_3×1

根据点积和向量积对加法的分配率，有

-y′×(Ry)＝(y′×t)(m^Ty)

m^Ty是一个标量，上式为一个关于m^Ty的过约束线性方程组，最小二乘意义上求解可得

上式确定了关于m的一个线性约束，该约束可表示为

两相机单位投影平面上的一对三角形ΔABC与ΔA′B′C′是同一个空间三角面片的投影；根据三对匹配的顶点{y_A,y′_A}，{y_B,y′_B}，{y_C,y′_C}确立三个关于m的线性约束；记

其中，i∈{A,B,C}；则三对匹配点确定的线性约束可写为

Am＝1_3×1

其中，A＝(a_A^T,a_B^T,a_C^T)^T；上式的约束个数与未知数个数均为3，可求得该空间三角面片的参数m_Δ；

所述步骤S6的具体方法包括：

判断单位投影平面上一点P是否在ΔABC内部，包括

点P的空间位置可表示为对于下式

u(y_B-y_A)+v(y_C-y_A)＝y_P-y_A

其中，y_P，y_A，y_B，y_C分别为点P，A，B，C在单位投影面上的坐标；求解上式得到位置参数u与v，则点P是ΔABC内点的充要条件是0≤u，0≤v且u+v≤1；

对于每个空间三角形，首先计算该三角形三个顶点在图像平面的投影点，并据此构建图像平面上当前空间三角形投影的矩形包围盒；然后标记包围盒内位于空间三角形投影内部的像素点；最后计算这些像素点上的映射并将其添加到用于图像重投影的映射表中；

根据所得映射表对输入图像进行重投影，得到精确配准后的重投影图像。