[发明专利]一种基于CUDA的双目深度信息恢复加速方法

摘要

一种基于CUDA的双目深度信息恢复加速方法，由三个有效步骤组成：1)基于双目深度信息恢复的图像预处理阶段进行并行计算；2)基于双目深度信息恢复的立体匹配阶段进行并行设计以及内存访问设计；3)并行处理基于双目深度信息恢复的滤波阶段，同时减少显存和主内存的切换，从而加速双目信息恢复方法。

主权项

1.一种基于CUDA的双目深度信息恢复加速方法，包括如下步骤：1)在图像预处理阶段，通过并行计算加速；所述的图像预处理阶段具体步骤是：11)首先将图像resize操作成320×240，然后转换RGB图像成灰度图像的过程并行计算；12)通过让一个GPU Thread来处理图像中的一个像素实现并行；13)对于重映射阶段,对于输出图像的每个像素(x，y)，根据重映射矩阵查询其在原始图像中的坐标，通过双线性插值得到该坐标8位灰度值，对于落在原图像外部的像素点，用0填充，通过这个方法实现高效的并行计算，从而得到加速的效果；2)在立体匹配阶段，通过并行设计和内存访问设计加速；所述的在立体匹配阶段，通过并行设计和内存访问设计加速，具体步骤是：21)保持摄像头没有向内旋转角度，免去视差为负值时带来的额外开销；22)我们采用窗口匹配的方法来寻找左右视图中的对应点；两个点匹配与否通过我们设定的阈值来衡量，当通过匹配规则计算出的值小于这个阈值时，我们才认为这两个点是匹配的；输入包括windowSize,numberOfDisparities，rows和cols；其中windowSize是匹配窗口的大小，numberOfDisparities是最大视差级数，rows和cols是图像的高度和宽度；输出是一个矩阵M，大小与输入图像一样；23)在并行计算方面，包含预计算匹配代价和根据预计算匹配代价寻找最小匹配代价的视差两步；在计算视差的时候，在每个GPU Thread中，期望运行次数记为numberOfDisparities；并行计算视差，输出图像的像素点作为并行单位；每个像素的视差在[0，numberOfDisparities]范围内；并行计算左右视图中的匹配代价，得到代价最小的视差；24)在内存访问方面，计算时先把每个像素的每种视差的匹配代价存储在一块单独的内存中，该块内存大小为rows×cols×numberOfDisparities×sizeof(uchar),其中每个元素的值通过以下公式计算：Data(disp，r，c)＝I_L(r，c)‑I_R(r‑disp，c)通过这种方式，我们把复杂度从O(rows×cols×numberOfDisparities×windowArea)降低到了O(rows×cols×numberOfDisparities)；在预计算匹配代价中，我们选择每个像素的每种视差作为最小并行单位，每个Block尽可能填充更多的Thread；然后通过归约算法寻找所有匹配代价中的最小值；在该步骤设置立体匹配的窗口大小为5×5，最大视差为32；3)并行计算滤波过程对图像边缘进行平滑操作；所述的并行计算滤波过程对图像边缘进行平滑操作，具体是：31)利用引导滤波对左相机预处理后的灰度图进行平滑操作；利用左相机的灰度图是由于深度图的坐标和左相机视图一致，此外灰度图可以消除一部分RGB图像中的噪点；32)该过程中涉及浮点类型和字节类型的转换，使用PTX指令集来优化类型的转换；此外，设置在GPU上声明的浮点类型均为单精度类型，这在一定程度上也提高了计算速度。