[发明专利]一种基于各向异性扩散的深度图像增强方法

说明书

技术领域

本发明涉及深度图像增强方法，具体涉及一种基于各向异性扩散的对深度图像缺失区域进行填充的增强方法。

背景技术

深度图像用来表达场景中各点相对于摄像机之间的距离。深度图像在计算机视觉的各种应用中有着广泛的应用，其为计算机视觉中诸如跟踪、分类、识别等方法提供了更多的可能性。

深度图像的获取包括了主动式获取和被动式获取。其中被动式获取中常用的是双目立体视觉方法，其使用两个相隔一定距离的摄像机同时获取场景图像，利用两个相机之间的几何关系最终生成深度图像；而主动式获取包括了激光雷达、结构光等方法，其特点在于设备本身需要发射能量来完成深度信息的获取。但是通过各种现有设备获得的深度图像大都存在深度信息缺失的问题：基于双目立体匹配获得的深度图像由于基线长度的限制无法获得在远距离处的准确深度信息，与此同时，在两个相机的视野非重叠区域无法获得准确深度信息；微软公司的Kinect获取的深度图像受到特殊材质表面、测距范围、物体遮挡等因素的影响往往会存在部分深度缺失区域；而通过激光雷达获取三维数据，经过坐标转换得到的深度图像拥有准确的深度值，但激光雷达扫描点体现在深度图像上表现为离散稀疏的深度值，深度图像上存在大量深度缺失区域。因此在获得彩色图像与深度图像对时，彩色图像是通常是完好的，而深度图像中往往存在部分深度缺失区域，深度图像的缺失区域给后续的机器视觉算法引来了诸多不变，如何对缺失深度区域的深度进行合理的估计成为了一个亟待解决的问题。

在已提出的对深度图像深度缺失区域进行填充的方法包括了内插，滤波等。各种算法往往都是通过已知的深度对缺失深度区域的深度进行合理估计。传统的内插方法利用缺失深度像素点周围的已知深度信息对该点的深度进行适当的估计。该方法填充完成的深度图像在物体边缘十分模糊，得到的深度图像往往无法达到后续应用的使用要求。

而某些滤波算法利用与深度图像对应的彩色图像来辅助深度图像的缺失区域填充。经常被采用的方法是联合双边滤波器。然而，这种基于滤波的深度图像增强往往对深度缺失区域大小非常敏感，如果深度缺失区域较大，而滤波采用的窗口尺寸较小，就会出现深度缺失区域无法被填充的情况。而如果窗口尺寸较大，就会导致深度图像中的细节信息难以保留。

发明内容

本发明的目的在于提供一种基于各向异性扩散的深度图像增强方法，该方法利用深度图像的已知深度信息与彩色图像信息，克服了先前方法中物体边缘模糊、对深度缺失区域大小敏感等问题，实现了对深度图像中深度缺失区域的合理填充。

本发明采用的技术方案是：

本发明以与深度图像对应的彩色图像作引导，基于深度图像的已知深度区域，完成对深度图像的深度缺失区域的填充；该方法具体步骤如下：

步骤1）利用摄像机拍摄得到彩色图像，并利用深度传感器得到相同场景的深度信息，进而将深度信息映射到彩色图像坐标系得到深度图像，将两幅图像中具有相同行列位置的像素点进行一一对应；

步骤2）将深度图像中深度缺失的像素点的值设为0；

步骤3）对经步骤2）处理的深度图像进行逐列扫描，得到含有N个元素的列向量b，其中N表示深度图像的像素点个数；

步骤4）构建一个大小为N×N的矩阵M，矩阵M的第i行、第j列元素Μ_ij的表达式如式(1)所示：

其中σ表示衡量颜色相似性大小的参数，I_i为b中的第i个元素b_i所对应的彩色图像像素点的RGB三通道颜色值，I_j为b中的第j个元素b_j所对应的彩色图像像素点的RGB三通道颜色值，b_i与b_j对应的像素点是否相邻通过四邻域的概念进行判断；

步骤5）构建一个大小为N×N的矩阵A，矩阵A的第i行、第j列元素A_ij的表达式如式(2)所示：

式(2)中，L表示一个N×N的单位矩阵，L_ij表示矩阵L的第i行、第j列元素；

步骤6）求解如式(3)所示的线性方程组，得到含有N个元素的列向量Y的解：

AY＝b    (3)

步骤7）利用列向量Y完成对与深度图像同尺寸矩阵的逐列赋值，得到深度图像增强结果。

所述式(1)中||I_i-I_j||²用式(4)进行计算