[发明专利]基于深度学习视野自选择网络的密集匹配方法及系统

说明书

本发明属于密集匹配技术领域，特别涉及一种基于深度学习视野自选择网络的密集匹配方法及系统，构建深度学习视野自选择网络，包含多层级特征提取模块，匹配代价构建模块，多层级支路视差计算模块，上采样模块，单支路视差计算模块，支路选择权重计算模块，及输出模块；收集场景样本数据，划分为训练样本和测试样本，并分别用于对构建的网络进行训练和测试优化；针对目标场景数据，利用测试优化后的深度学习视野自选择网络选取最佳视野来实现目标场景数据的密集匹配。本发明在模型网络中采用多支路视差计算方式并基于单峰性构建的偏移损失为依据来实现最佳视野选择，能够确保视差不连续边缘匹配效果，提升场景数据匹配精度，具有较好应用前景。

技术领域

本发明属于密集匹配技术领域，特别涉及一种基于深度学习视野自选择网络的密集匹配方法及系统。

背景技术

随着人工智能的发展，基于深度学习的有监督密集匹配方法在虚拟、室内以及驾驶等近景数据集上取得了不错的表现。深度学习方法在特征自动提取上具有传统方法无可比拟的优势。随着硬件技术的发展和深度学习理论的完善，这种方法在密集匹配上的潜力逐步显现。M-CNN在密集匹配过程中采用了深度学习方法提取特征，利用卷积神经网络提取到了更为稳健的特征，替代了传统的测度匹配和相关系数匹配等特征提取方法，取得了不错的效果，同时为密集匹配端到端网络的出现奠定了基础。首个端到端的密集匹配网络DispNet，以光流预测网络FlowNet为基础，在改进其上采样模块后，应用于密集匹配网络。虽然其在KITTI数据集上的排名并不是当时最靠前的，但为后面其他端到端的网络提供了思路。考虑到DispNet视差图缺乏多尺度信息，且网络不包含视差精化模块，iResNet在DispNet基础上增加了多尺度信息，并采用贝叶斯网络精化视差，进一步提升了匹配精度。这个阶段的网络仍以类似“U-Net”的通用密集匹配网络结构为基础，通过大量的参数拟合密集匹配过程。GCNet借鉴传统密集匹配思想，开创了密集匹配专用网络的分支，其基本流程为：特征提取、匹配代价构建、视差计算以及视差软回归四个步骤。该网络的主要贡献包括：①引入了残差块，进一步深挖特征；②首次提出深度学习匹配代价构建和视差计算网络结构；③引入视差软回归(soft argmax)，将分类问题变为回归问题，以较小的参数代价取得了不错的效果。随后，PSMNet针对GCNet网络缺乏多尺度信息的问题，利用空洞卷积、金字塔池化(spatial pyramid pooling，SPP)以及堆叠沙漏等多种方式引入全局信息，进一步提升了匹配的效果。

但当前深度学习密集匹配方法在视差不连续边缘匹配效果不佳，虽然通过金字塔池化和空洞卷积空间金字塔池化(atrous spatial pyramid pooling，ASPP)的方式能够在一定程度上缓解该问题，但无法从本质上解决该问题。因此需要设计一种能够选择合适“视野”的网络结构来解决该问题。

发明内容

为此，本发明提供一种基于深度学习视野自选择网络的密集匹配方法及系统，在模型网络中采用多支路视差计算方式并基于单峰性构建的偏移损失为依据来实现最佳视野选择，确保视差不连续边缘匹配效果，提升场景数据匹配精度。

按照本发明所提供的设计方案，提供一种基于深度学习视野自选择网络的密集匹配方法，包含：

构建深度学习视野自选择网络，该网络结构包含多层级特征提取模块，匹配代价构建模块，用于获取不同尺度视野的多层级支路视差计算模块，用于线性插值的上采样模块，用于视差回归的单支路视差计算模块，用于通过距离加权计算表示视野匹配效果偏移损失的支路选择权重计算模块，及用于通过支路视差与对应支路像素来获取最终视差的输出模块；

收集场景样本数据，并将场景样本数据划分为训练样本和测试样本；利用训练样本对深度学习视野自选择网络进行预训练，并利用测试样本对预训练后的网络进行测试优化；

针对目标场景数据，利用测试优化后的深度学习视野自选择网络选取最佳视野来实现目标场景数据的密集匹配。