[发明专利]基于卷积神经网络的端到端立体匹配方法

说明书

本发明公开了一种基于卷积神经网络的端到端立体匹配方法，包括：通过残差卷积神经网络分别提取左右图像各自的特征图；使用特征金字塔，分别提取左右特征图在多个尺度上的特征信息，获得左右图像最终的特征图；将左右图像最终的特征图融合形成四维的代价量；使用多尺度沙漏网络堆叠的三维卷积神经网络对四维的代价量进行代价规整，再通过上采样与视差回归，得到视差图。该方法可以充分利用到全局信息，从而获取到更为精确的视差图；相较于传统的立体匹配算法而言，其极大改善了在病态区域匹配效果差的问题，算法鲁棒性更好，并且泛化能力更强。与其他基于卷积神经网络的立体匹配算法相比，有效提升了视差图细节处的匹配效果，对应的误匹配率更低。

技术领域

本发明涉及立体视觉领域与深度学习领域，尤其涉及一种基于卷积神经网络的端到端立体匹配方法。

背景技术

立体匹配对于许多计算机视觉应用都是必不可少的，例如自动驾驶，机器人导航，增强现实和三维重建等方面。通过寻找两幅图像之间的像素级的对应关系，立体匹配算法旨在从一对经过校正的立体图像中构造视差图。首先双目摄像机获取左右图像对，经过图像校正，之后送入立体匹配模块获取精确的视差图，而视差与深度之间存在着一一对应的关系且互为反比关系，基于视差图即可计算出物体的深度信息。从而应用于各种实际场景。

立体视觉经历了数十年的发展，已经取得了很多成果，传统的立体匹配算法根据寻找匹配代价成本的方法，将其分为局部匹配算法和全局能量最小化算法。其中，局部算法计算复杂度低速度快但是精度不高，而全局算法精度高但计算复杂度高速度慢。随着深度学习的急速发展，神经网络在计算机视觉领域发挥着日益重要的作用，其迅速应用于立体匹配领域。当前立体匹配算法精度最为先进的算法都使用到了卷积神经网络(Convolutional Neural Network，CNN)。其中Jure Zbontar和Yann Lecun首次将CNN应用在立体匹配算法中，通过设计一个深层的Siamese网络去计算匹配代价，然后利用一块9×9的图块，该网络被训练去学习预测图块之间的相似性，其算法的精度远高于传统的立体匹配算法。之后，Shaked和Wolf提出了一个高速网络去计算匹配代价和一个全局的视差网络来预测视差置信度得分。Kendall等人提出了端到端的GC-Net，并使用了多尺度特征结合的三维卷积神经网络来调整匹配代价量。最后通过视差回归获取高精度的视差图。Chang等人提出了金字塔立体匹配网络(PSMNet)，在构建代价量前，通过金字塔池化(Spatialpyramid pooling,SPP)模块在不同的尺度和位置聚集上下文，并结合沙漏堆叠的三维卷积神经网络来更好地利用上下文信息，从而获得了精确的视差图。

目前，传统的立体匹配算法在获得的视差图的精度上已经远远落后于基于卷积神经网络的立体匹配算法，传统的立体匹配算法在一些图像病态区域(如光照干扰、低纹理或重复纹理、遮挡等)的匹配误差很大，会降低整个立体视觉系统的性能，而卷积神经网络通过有监督的训练，能够结合全局图像信息，从而获取精度极高的视差图。

当前最先进的立体匹配算法通常在无纹理、反射表面、重复纹理等病态区域遇到困难。对于现有的立体匹配网络，空间特征是通过空间金字塔池化来获取，但是池化操作丢失掉大量的特征信息，在物体的细节处匹配效果并不理想。

发明内容

本发明的目的是提供一种基于卷积神经网络的端到端立体匹配方法，能够充分利用到全局信息，从而获取到更为精确的视差图。

本发明的目的是通过以下技术方案实现的：

一种基于卷积神经网络的端到端立体匹配方法，包括：

通过残差卷积神经网络来分别提取左右图像各自的特征图；

使用特征金字塔，分别提取左右特征图在多个尺度上的特征信息，获得左右图像最终的特征图；

将左右图像最终的特征图融合形成四维的代价量；