[发明专利]基于斜面代价聚合的立体匹配的方法、装置和存储介质

说明书

本发明公开了一种基于斜面代价聚合的立体匹配的方法、计算机装置及存储介质，包括对第一图像和第二图像进行特征图矩阵相乘处理，获得第一代价体，对第一代价体进行初始视差估计，获得初始视差图，执行多轮循环迭代操作，对最后一轮循环迭代操作得到的视差图和upmask图进行处理，获得原分辨率视差图等步骤。本发明通过在每一轮循环迭代操作中，根据目标斜面参数和目标视差图构建出多个斜面，根据各斜面进行lookup操作，可以更新斜面的参数，即斜面是可学习的，能够从局部3D空间中聚合匹配代价，减少计算和内存成本，具备较高的匹配准确性、较低的消耗成本、具有良好的实时性和运算速度。本发明广泛应用于图像处理技术领域。

技术领域

本发明涉及图像处理技术领域，尤其是一种基于斜面代价聚合的立体匹配的方法、计算机装置及存储介质。

背景技术

在自动驾驶、机器人控制和增强现实等技术中，需要应用图像的立体匹配。立体匹配是在一对立体对图像进行像素层次上的一一对应的处理过程。现有的立体匹配算法常常遵循匹配代价计算、匹配代价聚合、视差回归和视差精炼等四步流程，由于立体匹配过程中，匹配代价通常在图像的反射、低纹理和薄结构等区域表现出模棱两可的性质，此时匹配代价具有歧义性，而匹配代价聚合可以减轻匹配代价的歧义性，因此匹配代价聚合对于精确的视差估计尤为重要。

传统立体匹配方法可以分为局部方法、全局方法和和半全局方法三种。局部算法通常在局部区域进行匹配代价聚合，全局算法在整个图像上极小化全局能量函数来构建视差估计。半全局算法在整幅图像中通过对不同的方向进行匹配代价聚合，计算复杂度相比于全局算法大大减小，并且精度相对于局部算法更高。近年来，深度学习方法已经被提出来解决立体匹配问题。早期的方法通过利用卷积神经网络强大的特征提取能力提取图片的深层抽象特征，但依然需要传统的代价聚合方法进行后续的处理。目前采用深度学习的立体匹配方法一般分为两种。对左右特征图进行点乘得到的3D cost volume采用2D CNN方法进行聚合；对左右特征图进行concat串联得到的4D cost volume采用3D CNN方法进行聚合。目前，采用3D CNN进行匹配代价聚合的方法已成为立体匹配的主流，尽管3D CNN能够产生精确的视差图，但它的高计算和显存消耗限制了他们进一步的应用。

发明内容

针对目前的立体匹配的技术需要消耗较多的计算资源，实时性差等至少一个技术问题，本发明的目的在于提供一种基于斜面代价聚合的立体匹配的方法、计算机装置及存储介质。

一方面，本发明实施例还包括一种基于斜面代价聚合的立体匹配的方法，包括以下步骤：

获取第一图像和第二图像；所述第一图像和所述第二图像可以组成立体对图像；

对所述第一图像和所述第二图像进行特征图矩阵相乘处理，获得第一代价体；

对所述第一代价体进行初始视差估计，获得初始视差图；

执行多轮循环迭代操作；在每一轮所述循环迭代操作中，根据目标斜面参数和目标视差图构建出本轮的多个斜面，根据各所述斜面，对所述第一代价体中以像素为中心的邻域内执行lookup操作，追溯得到本轮的追溯代价体，对所述追溯代价体执行自适应聚合，获得本轮的上下文特征图，将目标视差图、本轮的所述追溯代价体以及本轮的所述上下文特征图输入至门激活单元，所述门激活单元输出本轮的视差图、本轮的斜面参数以及本轮的upmask图；

其中，对于第一轮所述循环迭代操作，所述目标斜面参数为初始设定的斜面参数，所述目标视差图为所述初始视差图；对于除第一轮循环迭代操作之外的其他各轮所述循环迭代操作，所述目标斜面参数为上一轮循环迭代操作得到的斜面参数，所述目标视差图为上一轮循环迭代操作得到的视差图；

对最后一轮循环迭代操作得到的视差图和upmask图进行处理，获得原分辨率视差图。

进一步地，所述基于斜面代价聚合的立体匹配的方法，还包括：