[发明专利]基于融合代价和自适应惩罚项系数的半全局立体匹配方法

说明书

本发明提供了一种基于融合代价和自适应惩罚项系数的半全局立体匹配方法，首先采用指数融合公式将输入图像的Census变换代价值、AD代价值、输入图像的方向梯度和方向梯度进行结合，获得融合匹配代价；然后根据像素点所处位置的颜色分量和梯度分量，选择对应的系数进行多路代价聚合；接着在三维视差空间中选择代价值最小的视差值，组成初始视差图；最后经过视差优化处理流程，得到最终的视差图。在Middlebury平台的Cones、Teddy和Tsukuba图像上的实验表明，相比原始半全局立体匹配算法，应用本技术方案可实现所有区域平均误差降低13.3%～34.5%；不连续区域平均误差降低20.3%～36.2%；非遮挡区域平均误差降低13.8%～51%。

技术领域

本发明涉及图像处理技术领域，特别是基于融合代价和自适应惩罚项系数的半全局立体匹配方法。

背景技术

从图像中提取视差图对于计算机视觉应用非常重要，如自动驾驶、虚拟现实、三维重建以及同步定位与建图等领域。立体匹配算法是通过一组对应的、校准好的左右图像计算得到目标像素点视差，还可以获取其深度信息，从而完成场景的三维重建。明德学院教授Scharstein提出可以将整个立体匹配过程分为四部分：匹配代价计算部分、匹配代价聚合部分、视差计算部分和视差优化处理部分。Hirschmuller提出了一种半全局(Semi-globalMatching，SGM)算法，其综合了全局立体匹配算法的精度和局部立体匹配算法的快速性，将二者特点相结合，并且运用一维多路径方式近似解决二维动态规划问题，降低代价聚合部分的复杂度，提高了算法运行速度和鲁棒性。

目前，非参数的Census变换被广泛应用在半全局立体匹配方法的代价计算，其拥有对由于光照产生的问题不敏感的优势，但是其对中心像素过分依赖，鲁棒性较差。针对不同的图像，半全局立体匹配算法的固定惩罚项系数会导致算法在视差不连续区域的匹配效果差，得到的初始视差图视差值不平滑，整体视差图精度不高。

发明内容

有鉴于此，本发明的目的在于提供一种基于融合代价和自适应惩罚项系数的半全局立体匹配方法，该算法在Census变换的优势上，结合其他代价值形成融合代价计算方式；采用颜色和梯度建立像素点分类机制，根据像素点所处位置自适应的调整惩罚项系数的大小；利用视差检测手段对视差图进行错误检测，并且采用视差填充方法以及滤波手段对视差值进一步处理，获取更高精度的视差图。

为实现上述目的，本发明采用如下技术方案：一种基于融合代价和自适应惩罚项系数的半全局立体匹配方法，包括以下步骤：

步骤S1：由位于左边的左相机及位于右边的右相机组成双目相机，通过左相机获得左彩色图像，通过右相机获得右彩色图像；

步骤S2：对左彩色图像的每一个像素点计算其Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值，最后采用指数融合公式将所述的Census代价值、AD代价值、x方向的梯度代价值和y方向的梯度代价值组合，形成以图像长度为x轴、图像宽度为y轴和视差范围为z轴的三维视差空间；

步骤S3：在视差范围内，用像素点的四个方向的一维动态规划结果作为二维全局能量函数的最优解，在所述三维视差空间中分别进行聚合，其中，根据像素点所处位置的颜色差值和梯度差值选择对应的惩罚项系数；

步骤S4：在所述三维视差空间中，采用赢者通吃算法WTA，对于每个像素点，选择其最小匹配代价对应的视差值作为该像素点的视差值，将得到的视差值组合形成初始左视差图；

步骤S5：采用左右一致性检测、视差唯一性检测和移除异常连通区域对所述初始左视差图进行错误视差检测，还采用二次曲线插值、视差填充、中值滤波以及引导图滤波对初始左视差图进行平滑，得到最终视差图。

进一步地：所述步骤S2具体包括以下步骤：

步骤S21：对于左彩色图像的每一个像素点，在R、G、B三个彩色图像通道下计算其AD代价值，公式为：