[发明专利]一种内容自适应双目匹配方法和装置

说明书

本发明提供一种内容自适应双目匹配方法，包括以下步骤：将左右图像均划分成网格以计算网格点处的特征信息，并根据所述特征信息在网格点处进行所述左右图像间的匹配计算，以将匹配度高的点作为基准点；计算所述基准点的视差值并确定层间距，并根据所述视差值和层间距对所有所述基准点在深度方向上进行分层；对于某一图像中的非基准点像素，确定距离其最近的基准点，并根据所述最近的基准点所在的深度层和所述基准点的视差值确定搜索范围；将所述非基准点像素与另一图像中所述搜索范围内的像素进行匹配计算。本发明在保证匹配精准度的同时，降低匹配过程计算复杂度，提高了匹配效率。

技术领域

本发明涉及计算机领域，并且更具体地，涉及一种内容自适应双目匹配方法和装置。

背景技术

三维感知是利用传感设备对真实环境进行探测、重建、认知的技术，是实现自动驾驶、虚拟/增强现实、机器人、测量等许多智能化技术的基础。对真实环境深度信息的重建是三维感知中的关键和基础内容，基于双目立体相机实现深度信息重建可以得到稠密的深度信息，同时图像中包含的丰富信息可以为感知提供重要的数据来源，双目相机对环境的适应性好，成本低，所以其相对于结构光、飞行时间等其它深度重建技术有其特定的优势，是三维感知领域的重要技术之一，有着广阔的应用前景。双目立体视觉的基本原理是通过两个角度来对同一景物进行观察，获取在不同视角下的感知图像，进而利用三角几何测量原理求得不同视角感知图像像素间的位置偏差(视差)，以此来表示所选景物的三维信息。双目匹配就是对双目相机的两张图片进行匹配，找到一对一的对应点，然后计算得到对应点的视差。立体匹配是立体视觉系统中最难解决的环节，匹配技术往往决定了整个视觉系统性能的优劣。如何精确地获取二维图像的深度信息，制造出一种对周围可变环境具有鲁棒性的双目立体视觉系统，仍是立体视觉研究的难点。双目视觉在实际应用中主要存在两大痛点：实时性和准确性。首先，从双目图像中提取三维信息是一个复杂算法问题，在实际场景中易受噪声、遮挡等非理想因素的影响。此外，双目视觉相关算法的运算量高，计算过程往往无法满足实时处理的要求。这些问题制约了双目视觉技术在实际系统中的应用。

从整体上划分，双目立体匹配可以分为全局算法和局部算法两类。全局算法是一个优化问题，通过一个基于马尔科夫随机场的能量函数的形式对视差添加全局平滑约束，提高视差求解的精度。这种方法就是求全局能量函数的最小值。而该问题是一个NP-hard问题，通常使用一些近似方法求解，如图割法、置信度传播法。这种方式计算复杂，且存储需求大，即使对低分辨率图像也通常需要较高的计算和存储资源。全局算法精度较高，但计算量大，达到的帧率比较有限。局部算法速度一般较快，但其精度和匹配搜索范围的大小选择相关。小的搜索范围会导致匹配失败率较高，大的搜索范围能一定程度上提高精度，但会导致边界处匹配不准确。且该方法受限于弱纹理区域和遮挡问题难以解决，在精度上一般不如全局算法高。准确高效的双目匹配方法是促进双目立体视觉技术应用推广的重要基础和亟需解决的问题。

发明内容

鉴于此，本发明实施例的目的在于提出一种内容自适应的双目匹配方法，在保证匹配精准度的同时，降低匹配过程计算复杂度，提高匹配效率。

基于上述目的，本发明实施例的一方面提供了一种内容自适应双目匹配方法，包括以下步骤：

将左右图像均划分成网格以计算网格点处的特征信息，并根据所述特征信息在网格点处进行所述左右图像间的匹配计算，以将匹配度高的点作为基准点；

计算所述基准点的视差值并确定层间距，并根据所述视差值和层间距对所有所述基准点在深度方向上进行分层；

对于某一图像中的非基准点像素，确定距离其最近的基准点，并根据所述最近的基准点所在的深度层和所述基准点的视差值确定搜索范围；

将所述非基准点像素与另一图像中所述搜索范围内的像素进行匹配计算。

在一些实施方式中，将左右图像均划分成网格以计算网格点处的特征信息，并根据所述特征信息在网格点处进行所述左右图像间的匹配计算，以将匹配度高的点作为基准点包括：