[发明专利]基于区域特征配准的双目相机图像缝合线拼接方法及系统

权利要求书

1.一种基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于，包括以下步骤：

步骤1，对输入的左右视角图像进行特征提取及匹配，包括提取特征点和图像局部区域的几何结构特征；

步骤2，对图像划分网格，利用步骤1中匹配的结果构建图像网格变换模型如下，

E＝λ_fpE_fp+λ_gpE_gp+λ_lsE_ls+λ_gsE_gs

其中，

λ_fp,λ_gp,λ_ls,λ_gs为各因素的权重；

E_fp为特征点配准项，保证了变形后的两张图像对应的像素整体上保持一致；

E_gp为区域几何特征配准误差，保证了变形后的两张图像对应的局部区域保持一致；

E_ls为局部相似项，保证网格变换的连续性；

E_gs为全局相似项，保证了整幅图像变换的一致；

以上配准项和约束项均由网格顶点表示，将各项展开为矩阵形式并按行组合，形成各图像网格顶点坐标展开向量V，通过对网格顶点的优化使得总误差E最小，实现图像的配准；

步骤3，对步骤2配准的图像重叠区域求最优缝合线，使得缝合线两边的像素差异最小，实现方式如下，

设对于缝合线S上的点p，在两张原图上对应的像素值差异为D_pixel(p)，在两张原图上的结构相似度为D_geometry(p)，采用动态规划搜索满足最小的缝合线；

步骤4，根据步骤3求得的缝合线，将重叠区域分为左右两部分，左边保留视角偏左的图，右边保留视角偏右的图，将缝合线两侧的重叠区域进行曝光补偿后，沿着缝合线拼接得到拼接图像；

步骤2中，设左右视角图像的分辨率为W×H，其中W为宽，H为高，首先将图像分成若干个网格，每个网格大小为w×h，其中w为宽，h为高，第i张图的第j个网格的4个顶点构成的顶点点集记为对于分布在内的点p，通过公式求得其相对各顶点的权重，其中A_k表示点p与第k个顶点构成的矩形面积，其中k＝0,1,2,3，点p与第k个顶点的连线构成矩形的对角线；用和w_k来表示点p，并通过调整网格顶点的坐标来实现图像网格优化，每个网格内部的像素则经历相同的坐标变换。

2.根据权利要求1所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：设第i张图的第f个特征点表示第i张图的第f个特征点相对第k个网格顶点的权重，特征点配准项表示为

其中，fn为特征点个数。

3.根据权利要求1所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：将步骤1中几何结构特征提取结果相应表征点用网格顶点表示，设第i张图的第g个表征点表示第i张图的第f个特征点相对第k个网格顶点的权重，则区域几何特征配准项表示为

其中，gn为几何特征提取点个数。

4.根据权利要求1所述基于区域特征配准的双目相机图像缝合线拼接方法，其特征在于：局部相似项表示如下，

其中，eⁱ为第i张图像的网格边的集合，(r,s)∈eⁱ表示v_r,v_s为第i张图的网格边集eⁱ中同一条网格边的两个端点，表示图像变形前的网格顶点，表示图像变形后的网格顶点，为与网格顶点线性相关的变量，表示网格边的相似变换。