[发明专利]基于双目相机的立体匹配去遮挡方法

说明书

本发明涉及图像处理技术，公开了基于双目相机的立体匹配去遮挡方法，基于双目相机的立体匹配去遮挡方法其在不引入多余的信息，只利用立体匹配图像中已经存在的极线信息与竖向对应信息，通过对现有信息制定一系列的策略来并行处理已有信息达到去遮挡的效果，以小于现有技术多个数量级的速度，获得了非常好的效果，满足了三维重建系统中实时处理的要求。

技术领域

本发明涉及图像处理技术，尤其涉及了基于双目相机的立体匹配去遮挡方法。

背景技术

双目立体视觉作为一个成熟的技术广泛应用于三维重建、自动驾驶、机器人导航等等领域。其具有结构简单成本低、非主动接触等特点。立体匹配的定义为：通过在极线上搜索相同图像元素实现视差信息测量的过程。其匹配结果的精度直接决定着整个双目立体视觉的性能，其计算耗费时间也是整个三维重建过程时间中占比比较大的部分。

经过多年发展，立体匹配中的遮挡问题还是一个无法很好解决的问题，遮挡问题在立体匹配中的体现是：在相机成像的过程中，空间中的一个被另一个物体遮挡，以至于左右相机无法同时采集到被遮挡的物体。遮挡的部分无法得到准确的视差信息，野鸡无法找到对应的匹配点，进而影响到双目立体视觉系统的精度，出现位置的计算错误。

随着计算能力的提升，越来越多的三维重建系统需要实时性，所以对现有技术的速度要求非常高，但是目前常用的方法都是很久之前GPU尚未广泛使用时提出的技术，很多技术没有考虑到并行处理。所以对于数据量比较大或者复杂的情况，无法达到三维系统实时性处理的要求。

发明内容

本发明针对现有技术中对立体匹配图像的每个像素在拥有极线、竖向投影解码两个信息的基础上增加一个维度的信息来进行唯一性约束， 这些方法都不仅扩大了算法复杂度又大大增加了计算时间，无法满足三维重建系统中实时处理的问题，提供了基于双目相机的立体匹配去遮挡方法。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

基于双目相机的立体匹配去遮挡方法，包括左相机的图像图L和右相机的图像图R，其方法包括：

S1:相机图像信息的准备，依据相机标定信息得到相机图像信息，相机图像信息包括左相机图像的掩码图L0，右相机的掩码图R0；左相位图L-P，右相位图R-P；左相位图在（x，y）上的像素点L_Pxy，右相位图在（x，y）上的像素点R_Pxy；点L_Pxy对应的右相位图R-P极线上的像素点集合L_PxyR_p；右相位图R-P在(x,y)上的像素点L_PxyR_Pxy；

S2:第一生成图像R1的形成，对于左相位图L-P的每个像素点L_Pxy，找到右相位图R-P符合一定阈值差值的右相位图对应点像素点R_Px，遍历左相位图之后得到一对多的左右图对应点集合AllL_PxyR_Pxy，点集合AllL_PxyR_Pxy生成右相位图R-P对应点的第一生成图像R1；

S3:第二生成图像R2的形成，对于左相位图L-P的每个像素点L-Pxy，找到右相位图R-P符合要求的对应点，遍历右相位图R-P之后得到一对一的左右图对应点集合L_PxyR_Pxy，点集合L_PxyR_Pxy生成右相位图R-P对应点的第二生成图像R2；

S4:第三生成图像R3的形成，每个像素将第一生成图像R1减去第二生成图像R2，得到第三生成图像R3；并获取第三生成图像R3的密度数据D_R3；

S5:第四生成图像R4的形成，对第三生成图像R3的密度数据D_R3进行直方图投影得到第一分界阈值Th_R3；遍历R3超过阈值的像素并形成第四生成图像R4；