[发明专利]一种基于候选视差的行车环境实时立体匹配方法及装置

说明书

本发明公开了一种基于候选视差的行车环境实时立体匹配方法及装置，使用轻量级卷积单元进行深度特征提取，采用基于Patch match的算法生成离散、少量、可能性更高的候选视差值，并将其应用到匹配代价体的构建过程，使用更有效的视差维度权值不共享的深度可分离卷积对匹配代价体进行代价聚合，最终回归出双目视差。本发明设计的立体匹配网络能够有效利用计算资源，满足行车环境下的实时性需求，可以得到更高精度的视差图，算法鲁棒性更好，并且泛化能力更强。

技术领域

本发明涉及机器视觉和自动驾驶技术领域，具体涉及一种基于候选视差的行车环境实时立体匹配方法及装置。

背景技术

自动驾驶的车辆必须能够很好感知周围环境的3D结构，需要获得稠密的深度图来为更高级的任务提供线索。获取深度数据常常可以通过深度相机、激光雷达或双目立体视觉的方法。考虑到行车环境下获取深度数据的需求和成本，基于双目立体视觉的方法更具可行性。主要方法是通过双目测距的原理，对两幅经过极线校正的左右视图，结合相机内参和外参将深度估计的问题转化成沿着图像极线方向像素点匹配的视差问题来解决。

近年来，深度学习的发展也引发了将深度神经网络用于立体匹配问题的热潮。研究者设计端到端的结构来处理图像深度特征的提取、匹配代价的计算、代价聚合和视差计算。为了准确度的提升，PSMNet在左右视图像素点匹配时构建4D的匹配代价体(C×H×W×D)，用复杂的3D卷积(H×W×D)来处理，会导致计算复杂度高、内存占用量高、计算资源没有用到最需要的地方。而后出现的思路是多阶段视差图预测，AnyNet初始阶段在低分辨率下学习粗略的视差图，随后阶段在一个局部视差搜索范围下构建一个残差代价体，进一步学习视差残差图来修正初始预测的结果，并逐渐恢复到图像的原分辨率视差图。

本申请发明人在实施本发明的过程中，发现现有技术存在如下技术问题：

多阶段预测的方法虽然能够实现实时获取视差图，但精确的多阶段立体匹配效果依赖初始阶段的匹配精度，事实上受初始精度限制此类预测方式并不有效。而结合语义分割的多任务网络往往为两个任务独自训练模型或者构建端到端架构处理，联合处理两个任务相互引导预测对准确性有较大的提升，但多任务独自训练模型需要两次前向传递，多任务端到端架构模型网络复杂，且此类模型依赖的标签信息比较多，同时进行分割标注和视差标注的行车环境数据集有限。因此目前的实时立体匹配方法在真实行车场景下使用还存在很多不足。

发明内容

本发明提出一种基于候选视差的行车环境实时立体匹配方法及装置，用于解决或者至少部分现有技术中对视差预测精度不高的技术问题。

为了解决上述技术问题，本发明第一方面提供了一种基于候选视差的行车环境实时立体匹配方法，包括：

S1：获取原始数据集，并对原始数据集进行预处理，将原始数据集中的左侧图像作为参考图像，右侧图像作为对应的目标图像，参考图像和目标图像共同组成一组立体图像对；

S2：构建行车环境实时立体匹配网络，其中，行车环境实时立体匹配网络包括特征提取模块、基于Patch match算法的候选视差计算模块、初始视差预测模块以及层次化视差优化模块，特征提取模块为一个共享权重的轻量级孪生网络，用于对输入的立体图像对进行深度特征提取得到左特征图和右特征图；基于Patch match算法候选视差计算模块用于对每个像素均匀分成视差子空间随机产生视差值，并通过传播和评估策略得到目标候选视差，初始视差预测模块基于视差采样向量进行匹配代价的计算、匹配代价体的正则化和视差回归获取粗估计的低分辨率视差图，层次化视差优化模块用于将低分辨率视差图恢复成原始分辨率视差图；

S3：将预处理后的数据集中的立体图像对输入构建的行车环境实时立体匹配网络中进行前向传播训练；然后将输出的最终视差图和真实视差图输入到损失函数中，利用批量梯度下降法进行反向传播；最后根据梯度多次更新迭代模型的学习参数以获得最优的行车环境实时立体匹配网络模型，该模型的学习参数包括权重和偏置；