[发明专利]一种基于卷积神经网络的端到端双目立体匹配方法

说明书

本发明公开了一种基于卷积神经网络的端到端双目立体匹配方法，对现有的用于视差估计的PsmNet网络模型进行改进。首先在多尺度空间金字塔池化层加入空洞卷积，扩大网络的感受野；在代价聚合模块，采用4个编解码模块串联起来进行堆叠，进一步提取高层信息。改进后的网络模型，扩大了感受野，同时它还提高了网络模型的良好性能，增加了丰富的细节信息，改善了在遮挡、弱纹理区域无法正确匹配的问题。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于卷积神经网络的端到端双目立体匹配方法。

背景技术

立体匹配目的是获取像点在立体图像对中的视差值，从而进行深度信息计算，深度信息的获取是许多计算机视觉应用程序的核心，例如自动驾驶、机器人导航、双目测距、三维重建等。立体匹配分为传统方法和深度学习方法，深度学习又分为非端到端和端到端两种。传统的立体匹配算法精度低，处理速度慢，这极大地限制了其在实际场景中的应用。近年来，随着大规模并行计算设备的发展，基于深度学习的方法在众多的视觉任务中均取得了突破性的进展。其中，卷积神经网络因其具有处理速度快、鲁棒性强等优点，非常切合立体匹配算法的需要，因此逐渐成为立体匹配算法的主流研究方向。然而端到端的算法相较于非端到端的算法而更便于对整体算法进行优化，因而在实际应用中更加方便。但是基于端到端的双目立体匹配中仍然存在很多问题，这些问题会影响立体匹配的精度和速度，例如弱纹理、重复纹理以及物体边缘处匹配率不高等。

发明内容

针对现有技术所存在的上述缺陷，本发明提出了一种基于卷积神经网络的端到端双目立体匹配方法，对现有的用于视差估计的PsmNet网络模型进行改进。首先在多尺度空间金字塔池化层加入空洞卷积，扩大网络的感受野；在代价聚合模块，采用4个编解码模块串联起来进行堆叠，进一步提取高层信息。改进后的网络模型，扩大了感受野，同时它还提高了网络模型的良好性能，增加了丰富的细节信息，改善了在遮挡、弱纹理区域无法正确匹配的问题。通过以下步骤实现：

(1)收集数据集并进行预处理；

(1-1)收集数据集：数据集来源于两个开源数据集，SceneFlow和KITTI 2015，前者包括训练集和验证集，后者包括训练集和测试集；

(1-2)预处理：对数据集中每个输入的左右视图进行随机裁剪至256×512，然后对其进行归一化操作；

(2)构建立体匹配网络，其中立体匹配网络包括特征提取模块、特征融合模块、构建代价体模块、代价聚合模块以及视差回归模块；

(2-1)构建特征提取模块：特征提取模块是一个共享权重的孪生网络，用于对输入左右视图进行特征提取，其输入是一对待匹配的左右视图，输出是两个一元特征；其中所述的孪生网络首先利用3个卷积层对输入的左右视图进行一次下采样，每个卷积层的卷积核为3×3、步长为2；接下来是4个残差层进一步对输入左右视图进行处理，其中第一个残差层包括3个残差块，第二个包括16个残差块；第三个残差层包括3个残差块，第四个包括3个残差块；四个残差层的卷积核均为3×3，特征维度均为32，除了第二个残差层中的残差块步长为2，其余步长都为1；每个残差块结构为BN-conv-BN-ReLU-conv-BN，其中BN、conv和ReLU分别指批归一化、卷积层和修正线性单元。经过上述卷积操作后，所述孪生网络的输出是两个尺寸为H/4×W/4×F的一元特征，其中H、W分别表示原始输入图像的高和宽，F表示特征维度；

(2-2)构建特征融合模块：特征融合模块，对上步得到的特征进行多尺度上的池化操作，每层均采用空洞卷积进行池化操作，接下来进行特征融合，使用1x1的卷积核对上述池化得到的四个尺度的特征以及上述残差层第二层和第四层的输出进行融合，输出是两个尺寸为H/4×W/4×F的一元特征，其中H、W分别表示原始输入图像的高和宽，F表示特征维度；