[发明专利]结合十字骨架窗口和图像金字塔的立体图像深度检测方法

说明书

本发明公开了一种结合十字骨架窗口和图像金字塔的立体图像深度检测方法。双目相机实时采集左右图像，计算初始视差图；计算X和Y方向梯度信息获得描述子；结合灰度图颜色相似性和距离约束构建十字骨架窗口，选取最小长度的分支为最小臂长；将立体图像多次高斯下采样构建图像金字塔；利用初始的视差图和十字骨架窗口以较低层对相邻较高层依次更新处理，层层往上处理获得最终视差图而求取立体图像深度。本发明采用了十字骨架窗口提高支持点的视差精度且很容易并行化；同时结合图像金字塔利用多尺度信息在弱纹理区域获取更多的支持点，改善跨边缘连接的现象；并且缩小高分辨率的视差搜索范围，减少误匹配支持点，有效缩短高分辨率的时间。

技术领域

本发明涉及深度估计和立体匹配方向的一种双目立体匹配方法，涉及了一种结合十字骨架窗口和图像金字塔的立体图像深度检测方法。

背景技术

深度估计是计算机视觉中最重要的问题之一。从双目立体图像对中估计深度是低级视觉的核心主题，其关键任务是在图像对中找到空间像素的对应关系，即立体匹配，再利用成像原理和三角测量来获取场景的三维几何信息和深度信息。立体匹配确定目标点在图像对中的像素坐标信息，并以此计算出目标点的视差值，是双目立体视觉系统中最具有挑战的研究内容，也是核心研究内容。但是由于受到的光照不一致，无纹理，弱纹理，遮挡等问题的影响，双目立体匹配的准确性会受到较大影响，如何设计能够有效避免干扰的立体匹配算法具有较大的挑战性。

传统立体匹配算法通常由4步组成：匹配代价计算，代价聚合，视差计算，视差细化。通常立体匹配算法主要包括全局算法和局部算法。全局算法通常是通过最小化一个全局目标函数来解决优化问题，该目标函数包含数据和平滑项。许多技术用于解决该NP难问题且效果很好，但计算成本很高，所以在实时系统中很少使用。局部立体匹配算法利用邻域内的像素信息进行约束，因此其计算量低，效率比全局算法高。但是局部算法容易受到图像噪声的影响，在纹理不佳或重复纹理区域中会出现匹配二义性。高效高精度的立体匹配算法在许多实际应用中，例如机器人导航，自动驾驶，无人机等领域起着关键作用。如何在较大图像对中高效获取高精度的视差也仍是一个挑战。ELAS是一种高效的高分辨率的立体方法，可以在线性时间内完成立体匹配或深度估计。但容易出现跨边缘连接且误匹配点的影响较大，在弱纹理区域视差精度有待提高。

发明内容

有鉴于此，为了解决背景技术中存在的问题，本发明的目的在于提出一种结合十字骨架窗口和图像金字塔的立体图像深度检测方法CS-ELAS。

为了实现以上目的，本发明采用的技术方案如下：

步骤1：通过双目相机实时采集左右图像，左右图像构成了原始的立体图像，根据左右图像中目标和背景之间的变化关系计算左右图像之间的视差图并作为立体图像初始的视差图；视差图是指表征左右图像中目标和背景之间距离关系的图。

步骤2：计算立体图像的X方向和Y方向的梯度信息，获得每个像素点的X方向梯度信息和Y方向梯度信息，X方向沿图像横向方向，Y方向沿图像纵向方向，获得像素点的描述子；

步骤3：结合灰度图颜色相似性和距离约束构建十字骨架窗口，十字骨架窗口具有四个分支，从十字骨架窗口选取四个分支中最小长度的分支，以最小长度的分支的长度作为十字骨架窗口的最小臂长，作为后续计算每对左右图像对匹配相似度的匹配窗口半径大小；

步骤4：将原始的立体图像进行多次高斯下采样构建图像金字塔；

步骤5：利用初始的视差图和十字骨架窗口以图像金字塔较低层的立体图像对图像金字塔相邻较高层的立体图像进行依次更新处理，对图像金字塔层层往上处理，获得最终视差图进而求取立体图像的深度。

本发明通过结合视差图和十字骨架窗口对图像金字塔进行了层层往上处理，能够快速准确获得立体图像的深度。

所述步骤2具体为：

对于X方向和Y方向分别建立一个梯度窗口：