[发明专利]基于深度自适应滤波的彩色深度图像修复方法

说明书

本发明公开了一种基于深度自适应滤波的彩色深度图像修复方法，用深度摄像头获取深度图像和于深度图像对应的彩色图像，提取它们的边缘、获得它们的距离图像，并根据深度图像的距离图像获得去除不相关边缘后的彩色边缘图像G₁，再以深度图像边缘和G₁的边缘为边界，分别以距离图像D₁、距离图像D₂的像素值递减方向为生长方向，得到掩模M₁和掩模M₂，对M₁和M₂进行逻辑与操作得到M₃，这样得到的M₃可以解决生长区域溢出的情况，避免噪声混入。根据M₃能找到无效像素区域，计算该区域内各像素点的最优深度值，利用最优深度值对该区域内像素点进行填充，再根据深度图像噪声的特殊性，运用深度自适应滤波器对噪声进行去除，完成深度图像的修复。

技术领域

本发明涉及一种深度图像的修复方法，尤其涉及一种基于深度自适应滤波的彩色深度图像修复方法。

背景技术

3D场景重建、虚拟现实技术发展迅速，各种设备已经发展到了三维信息领域，例如，飞行时间相机，立体相机，激光扫描仪和结构光相机等。许多这些深度相机具有相对高的成本和繁重的计算要求。深度相机受到其数学模型和测距原理的限制，获取的深度图像目前主要面临两大问题，一个是深度图像与彩色图像的边缘不匹配，另一个是系统造成的无效像素问题。

深度图像的增强处理的是彩色图像和深度图像边缘不匹配、无效像素引起的空洞和随机噪声的问题，据此Y·Na-Eun等人提出了利用深度图像本身的信息来计算空洞中像素的值填补空洞的算法。事实上因为连通区域内部像素与像素之间存在不同，而在这个算法中的连通区域的像素却并没有被区别对待，所以就体现出了它的自身局限性。

对于深度图像的噪声问题，由于深度图像的噪声比较特殊，且它的出现常常伴随着彩色图像的出现而出现，所以实验者便把关注点放在了能将不同信息融合起来的平滑方法上。其中关注度较高的，并且相对主要的一部分是基于双边滤波的算法，双边滤波算法的基本思想是用像素的加权平均值来平滑图像。这一思想在此之前也有类似的提出，如Frederic Garcia等针对TOF深度相机拍摄出的深度图像的去除噪声问题提出的像素加权平均策略。第一种双边滤波由空间相似性、彩色相似性和深度图像梯度相似性构成，第二种双边滤波由空间相似性、彩色相似性和深度相似性构成。对于一个特定的像素，首先计算这两种双边滤波的结果，然后用对结果进行加权平均。

但是，深度图像和彩色图像边缘不匹配问题是由于深度相机和彩色相机的立体匹配误差造成的，所以深度图像和彩色图像并不是精确匹配的。那么，对应的彩色信息和深度信息之间有一定的位移，故而不能直接用彩色信息来指导深度图像去噪，因此上述两种传统的双边滤波算法都存在不足。

发明内容

本发明的目的就在于提供一种解决上述问题，能解决深度图像与彩色图像的边缘不匹配从而使得无效像素引起的空洞和噪声的问题，能改变现有技术方法修复后图像存在的像素值不准确、计算量过大和图像边缘模糊的情况的基于深度自适应滤波的彩色深度图像修复方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种基于深度自适应滤波的彩色深度图像修复方法，包括以下步骤：

(1)用深度摄像头获取深度图像和于深度图像对应的彩色图像；

(2)提取深度图像和彩色图像的深度图像边缘、彩色图像边缘，并根据边缘得到深度图像边缘图和彩色图像边缘图E₁，

(3)对深度图像边缘图进行距离变换，得到与之对应的距离图像D₁；

(4)根据下式获得去除不相关边缘后的彩色边缘图像G₁：