[发明专利]基于空间三角面片拟合的图像拼接方法

权利要求书

1.一种基于空间三角面片拟合的鱼眼图像拼接方法，其特征在于包括以下步骤：

S1.对有重叠区域的两幅输入图像进行特征提取与匹配，得到图像间的匹配特征点；

S2.在S1中得到的匹配特征点基础上，通过最小化关于相机参数的代价函数，得到一组近似的相机参数；

S3.利用S2中得到的相机参数，通过两步RANSAC，剔除S1中得到匹配点中的误匹配点；

S4.在S3中得到的正确匹配特征点基础上，对相机坐标系下的单位球面进行三角划分；

S5.在S2中得到的相机参数与S4中得到的三角划分基础上，求解每一个空间三角面片的参数；

S6.在S5中得到的三角面片参数基础上，逐面片地渲染得到精确配准的重投影图像；

S7.在S6中得到的重投影图像基础上，通过图像融合得到最终的全景图像；

所述步骤S2的具体方法包括：

用于拍摄图像I与I′的鱼眼相机分别为C与C′；I中的图像点x＝(u,v,1)^T与C的相机坐标系下单位球面上的空间点z＝(x,y,z)^T之间的投影关系可表示为

x＝Kθ

其中，θ＝(θx/r,θy/r,1)^T，θ＝arccos(z)，将上述变换表示为x＝κ(z)，类似地，I′中的图像点x′＝(u′,v′,1)^T与C′的相机坐标系下单位球面上的空间点z′＝(x′,y′,z′)^T之间的投影关系表示为x′＝κ′(z′)，其中κ(·)与κ′(·)为可逆非线性函数；

鱼眼图像间的极线约束表示如下：

z′^TQz＝0

其中，Q为基本矩阵，且Q＝[t]_×R，其中R与t分别为C与C′的相机坐标系间的旋转矩阵与平移向量；除此之外，增加关于全局投影的二级约束：

z′～Rz

其中，～表示正比关系；对于一对匹配点{x,x′}，需最小化的代价函数为：

E(x,x′)＝h(r_e,σ_e)+λh(r_p,σ_p)

其中，系数λ用于控制r_p的影响，取为λ＝0.01，函数h(·)为具有误匹配抑制能力的Huber误差函数：

参数σ_e与σ_p分别表示极线约束与全局投影约束下正常误差的上限，残差二者的度量单位均为像素，z＝κ^-1(x)，z′＝κ′^-1(x′)，其中K′为相机C′的内参数矩阵；在r_e的表达式中，记(a,b,c)^T＝Qz，则标准化参数其中f′_x与f′_y分别为相机C′在x，y方向上的等效焦距；在r_p的表达式中，系数w＝r₃^Ty，其中r₃^T为R的第三行；

对于所有匹配点{x_i,x′_i}，以及它们对应的残差r_e,i与r_p,i，i＝1,…,n，总的代价函数为：

注意到E^all是关于残差r_e与r_p的二次函数，因此E^all的最小化可通过LM迭代实现，所得结果是一组真实相机参数的近似值；其中K，K′为内参数，R，t为外参数；

所述步骤S4的具体方法包括：

给定剔除误匹配之后的匹配点{x_i,x′_i|i＝1,…,n}，n表示正确匹配点的数量，以z_i＝κ^-1(x_i)，i＝1,…,n为顶点，单位球面上的三角划分等价于求空间点集{z_i|i＝1,…,n}的凸包，所得球面三角形代表空间三角面片在C的相机坐标系内单位球面上的投影；为保持空间三角面片模型的一致性，对于C′的相机坐标系下的顶点z′_i＝κ′^-1(x′_i)，i＝1,…,n，适用与z_i相一致的三角划分；

所述步骤S5的具体方法包括：

鱼眼图像I与I′内一对匹配点x与x′是同一空间点P在不同两相机成像平面上的投影；x与x′之间的变换关系表示为

其中，m为描述P所在空间三角面片的平面参数，其自由度为3；在已估计得到相机参数的情况下，m是x与x′的变换关系中唯一的未知量，记z＝κ^-1(x)，z′＝κ′^-1(x′)，则投影关系简化为

z′～(R+tm^T)z

根据上式，向量z′与(R+tm^T)z平行，则

z′×(R+tm^T)z＝0_3×1

根据点积和向量积对加法的分配率，有

-z′×(Ry)＝(z′×t)(m^Tz)

m^Tz是一个标量，上式为一个关于m^Tz的过约束线性方程组，最小二乘意义上求解可得

上式确定了关于m的一个线性约束，该约束可表示为

两单位球面上的一对三角形ΔABC与ΔA′B′C′是同一个空间三角面片的投影；根据三对匹配的顶点{z_A,z′_A}，{z_B,z′_B}，{z_C,z′_C}确立三个关于m的线性约束；记

其中，i∈{A,B,C}；则三对匹配点确定的线性约束可写为

Am＝1_3×1

其中，A＝(a_A^T,a_B^T,a_C^T)^T；上式的约束个数与未知数个数均为3，可求得该空间三角面片的参数m_Δ；

所述步骤S6的具体方法包括：

判断单位投影平面上一点P是否在球面三角形ABC内部；记球心为O，在同侧半球面上，判断点P是否在球面三角形ABC内等价于判断OP连线与平面ABC的交点P′是否在平面三角形ABC内；点P′的空间位置满足且由可得得出

tz_P-u(z_B-z_A)-v(z_C-z_A)＝z_A

其中，z_P，z_A，z_B，z_C分别为点P，A，B，C在单位球面上的坐标；求解上式得到位置参数t，u与v，则点P是球面三角形ABC内点的充要条件为0≤t≤1，0≤u，0≤v且u+v≤1；

对于每个空间三角形，首先计算该三角形三个顶点在图像平面的投影点，并据此构建图像平面上当前空间三角形投影的矩形包围盒；然后标记包围盒内位于空间三角形投影内部的像素点；最后计算这些像素点上的映射并将其添加到用于图像重投影的映射表中；

根据所得映射表对输入图像进行重投影，得到精确配准后的重投影图像。