[发明专利]一种基于超像素分割的立体匹配系统

权利要求书

1.一种基于超像素分割的立体匹配系统，其特征在于：包括如下方法：

步骤一：系统搭建：采用平行式结构对双目系统进行搭建；

步骤二：相机模型：

(2.1)、基本模型：

转换涉及到的坐标系有：世界坐标系、摄像机坐标系、成像平面坐标系、像素坐标系；

(2.2)、畸变模型：

畸变的引入使得成像模型中的几何变换关系变为非线性，畸变主要分为两种：一是沿着透镜半径方向分布的径向畸变；二是由于透镜本身与相机传感器平面或图像平面不平行而产生的切向畸变；

步骤三：相机标定及校正：

(3.1)、相机标定及图像校正：

相机标定的目的就是建立各个坐标系之间的关系；方法就是根据摄像机模型，由已知特征点的坐标求解摄像机的模型参数，要求解的参数包括4个内参数和4个畸变参数，还有外部参数旋转矩阵和平移矩阵；再利用单目标定的结果来求取两个摄像机坐标系之间的旋转平移矩阵；

(3.2)、双目立体校正：

立体校正的目的就是把现实中非共面行对准的两幅图像，校正成共面行对准；

(a).将右图像平面相对于左图像平面的旋转矩阵分解成两个矩阵，校正过程中两个图像平面均旋转一半的，这样可以使重投影畸变最小；

(b).通过系统的偏移矩阵构造变换矩阵使得基线与成像平面平行；

通过合成旋转矩阵与变换矩阵相乘获得左右相机的整体旋转矩阵；左右相机坐标系乘以各自的整体旋转矩阵就可使得左右相机的主光轴平行，且像平面与基线平行；如此得到理想的平行配置的双目立体系图像；

步骤四：立体匹配：

立体匹配是寻找水平极线方向的匹配关系并用视差信息反映出来的过程；

(4.1)、预处理：采用SLIC算法来进行超像素的分割；

(4.2)、代价计算：

匹配代价计算的目的是计算参考图像上的每一个待匹配像素与目标图上每一个可能的视差范围内的候选像素之间的相关性，最后得到一个大小为W×H×D的代价矩阵C；

(4.3、代价聚合：半全局匹配算法；

(4.4)、视差计算：视差计算采用赢家通吃算法，每个像素选择最小聚合代价值所对应的视差值作为最终视差；视差计算的结果是和图片相同尺寸的视差图，存储每个像素的视差值；

(4.5)、视差优化：

(a).左右一致性检测：(b).超像素修正：

(4.6)、评判标准：

算法的评估以误匹配率为准，误匹配率的计算公式如下：

式中d_c(x,y)——算法的输出的视差图；

d_T(x,y)——精准的视差图；

N——像素的总个数；

δ_d——为错误阈值，一般设置为一个像素点；

当输入的视差图与标准视差值对比，当视差值的误差大于δ_d时，则算做错误视差值；所以评估系统中对三项进行评估，分别是图像总的误匹配率，非遮挡区域的误匹配率，以及不连续区域的误匹配率；

步骤五：三维点云重建：

(5.1)、三维点云获取：

在获取视差图像后，通过视差图像和相机基线焦距等内外参数信息，获取三维点云；一般双目摄像机中，焦距f和基线T的值固定，每个像素代表的实际距离通过三角形相似原理推理得到；

(5.2)、点云的三角剖分：采用分治算法来实现Delaunay三角剖分。