[发明专利]基于CUDA实现的实时立体匹配及优化的方法

说明书

本发明涉及计算机视觉的技术领域，更具体地，涉及基于CUDA实现的实时立体匹配及优化的方法。本发明是一种利用CUDA并行化处理来对左右输入图像进行密集的立体匹配，并且生成实时的视差图的方法。包括：对左右两图做census转换，生成一个字符序列，用汉明码距得到一个初始的cost，动态规划每个像素点8条路径，取一个最短的路径和来得到最终的cost，得到最初的一个密集的视差图；对左图利用k‑means算法进行超像素分割，得到一个个超像素平面块，利用超像素平面拟合来优化初始视差进行优化。本发明还涉及到多任务GPU并行加速，具体涉及在NVIDA的CUDA架构并行实现多个任务，属于GPGPU计算领域。通过GPU多线程处理优化极大的缩小了计算时间，得到实时的视差图。

技术领域

本发明涉及计算机视觉的技术领域，更具体地，涉及基于CUDA实现的实时立体匹配及优化的方法。

背景技术

立体视觉是计算机视觉中的一个重要课题，它可以使得人们获取到物体和场景中的深度信息，是后期3D重建和内容分析的基础。立体匹配是立体视觉的关键技术之一，通过标定好的双目相机拍摄的左右图片，经过矫正对齐之后，立体匹配是直接获取视差信息的关键性步骤。

立体匹配的直接目的是获取精确的视差信息，而匹配的精确度和时效性是衡量匹配方法的标准，如何平衡精准度和时效性是一个重要的课题。目前主流的立体匹配方法分为局部匹配，半全局匹配和全局匹配三种，精准度依次增加，同时消耗的时间也依次增加。

半全局匹配在精准度和时效性平衡性较好，因此我们采用半全局匹配，并着力提高精准度，降低运行时间。

在前景和后景的边缘部分，精准度难以把握，如何在前景膨胀和噪点中取舍得到好的效果是提高精确性的重要因素。

通过对图像进行超像素平面分割，是前后景边缘分割的重要手段，而分割方法也是计算机视觉领域的研究热点之一，在图像处理，对象识别中也有大量应用。通过快速而准确的超像素平面块分割，拟合，显著提高了视差的精确度。

GPGPU是GPU进行大规模计算的技术，而CUDA是NVIDA公司提供的GPGPU架构，GPU具有远高于CPU的浮点运算能力和内存带宽，有高度的并行性，不同于CPU程序只能一个一个的顺序执行，GPU的硬件设计支持多任务共享，程序可以通过多个线程同时运行。

因此将程序通过CUDA运行在GPU上，能极大缩短运行时间，提高时效性。

目前尚未发现在具备高精确度并且能输出实时的视差图的专利或者文献。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供基于CUDA实现的实时立体匹配及优化的方法，是兼顾精准和实时的立体匹配方法，加入了超像素分割用以拟合视差平面提高精确性，降低误匹配几率，利用了CUDA多线程并行化设计，将原本的算法程序计算时间由秒级别降低到毫米级别，能够达到实时的密集匹配。

本发明的技术方案：基于CUDA实现的实时立体匹配及优化的方法，其中，包括以下步骤：

S1.选定一个框大小，对左右图像除边缘部分的每个像素都做census转换为字符序列；

S2.在给定的视差范围内，选定左图像素点，遍历右图范围内各个字符序列，计算汉明码距，得到初始的cost；

S3.路径聚合，通过动态规划找到每一个点的路径聚合值最小，得到能量函数；

S4.用WTA选取能量函数最小所对应的视差值；

S5.左右一致性检查进行后期校验，得到初始的密集视差图；

S6.将左图每个像素由RGB颜色空间转换为CIElab颜色空间；

S7.通过k-means聚合算法划分出超像素平面块，迭代几次直至收敛，并融合超像素平面块；