[发明专利]一种利用视频序列帧间相关性的深度图像计算方法

说明书

本发明公开一种利用视频序列帧间相关性的深度图像计算方法，包括：步骤1、对左右视点相机拍摄的图片进行校正；步骤2、对于第一帧的左右图片的点p，在最大视差搜索范围计算匹配代价，进行视差优化、视差细化，得到初始视差值d1；第一帧的视差梯度为g1；步骤3、对于下一帧的p点的计算，当p点不是异常点或边缘点，以上一帧p点的视差值为基准设定视差搜索范围，否则以最大视差搜索范围计算匹配代价，进行视差优化、视差细化，并得到当前帧的视差值及视差梯度，实现实时的立体匹配。本发明利用视频序列中上一帧的视差，大幅缩小了当前帧算法的计算量，能够在保证原有算法匹配精度的条件下，减小耗时，提高在实际应用场景中的效率。

技术领域

本发明涉及计算机立体视觉领域，更具体的，涉及一种利用视频序列帧间相关性的深度图像计算方法。

背景技术

立体视觉是近年来计算机视觉领域中最广泛的研究课题之一。它是从同一场景不同视点拍摄的图片中获得场景深度信息的技术。获得从不同视点的两个相机拍摄的图片，针对这两幅图片计算场景中的点在两幅图片上的对应点的水平位移，这个过程就被称为双目立体匹配，水平位移就被称为视差。立体视觉在许多领域中被广泛使用，例如障碍物检测，驾驶辅助，三维重建和运动检测等。

随着消费电子的发展，立体视觉应用的场景越来越广泛。如图1所示，一般来说，大多数立体匹配算法可以概括为四个步骤：

(1)匹配代价计算

(2)代价聚合

(3)视差优化/计算

(4)视差细化(后处理)

而具体步骤的实施细节取决于算法本身。根据步骤1、2、3的不同，大多数算法分为两种主要类型，局部算法和全局算法。局部算法主要基于窗口进行代价聚合(步骤2)，对于一个给定的点，视差优化(步骤3)中计算得到的能量值仅仅取决于一个限定窗口内的所有点的像素值。局部算法通常能很清晰地分成步骤1、2、3。例如，传统的平方差求和算法(sum-of-squared-differences)，它的计算步骤如下：

(1)匹配代价是在给定某个视差下，计算左边视点的图和右边视点的图中对应的两个点的平方差。

(2)代价聚合就是对限定窗口内所有点的匹配代价求和。

(3)视差优化则是对每个点挑选出聚合代价最小的视差值。

除此之外，经典的局部算法还有绝对值求和算法(sum-of-absolute-differences)：匹配代价是计算对应点的绝对值；自适应权重算法(adaptive-support-window)：即在代价聚合过程中根据窗口内的点与中心点的颜色、距离赋予不同权重，再将其代价相加；归一化互相关算法(Normalized Cross Correlation)：计算图像间的互相关值。Census变换：将窗口内像素灰度大小的相对值转化成比特数，然后比较左右对应点的比特数的汉明距离。

局部算法具有高速度和低能耗，但是局部算法得到的匹配精度有限，较难满足复杂场景的需求。与局部算法相比，全局算法有更好的匹配精度。全局算法对于平滑项作出了假设，并将立体匹配问题变成了一个能量优化问题。大部分全局算法跳过了代价聚合(步骤2)，考虑匹配代价和平滑项，针对全局的点提出了能量函数，然后最小化能量函数，获得视差。而对能量函数最小化的优化算法主要有图割(graph cuts)，置信度传播(BeliefPropagation)等。但是相比于局部算法，全局算法的计算量更大，能耗更高。