[发明专利]一种基于彩色图像分割的Kinect深度图修复方法

说明书

技术领域：

本发明涉及一种基于彩色图像分割的Kinect深度图修复方法，属于图像处理的技术领域。

背景技术：

随着立体显示技术和视频处理技术的发展，深度图成为近年来立体视觉技术中的研究热点，并被广泛应用于三维重建、3D电视、深度图像渲染(DIBR)、图像分割等众多领域。深度图可以通过立体匹配算法或深度相机获得。立体匹配算法是在由双目相机获取的图像对中确定像素对应点来计算视差图，然后根据几何关系转换为深度图。由于该类方法计算成本高，大部分的立体匹配方法无法用于实际应用。深度相机直接获取深度信息，一般通过发射和接收反射光来计算深度信息以实现深度信息的实时提取。

随着传感器技术的发展，现在市场上出现了很多深度摄像机。其中Kinect是由微软研发的深度相机，可以同时获得深度图和彩色图像。由于价格低以及实时的深度图像获取能力，Kinect相机在游戏产业和科学研究中都得到了广泛应用。但Kinect获取的深度图也存在着很多问题。首先，由于作用距离的限制以及反射、遮挡等因素影响，Kinect深度图存在很多空洞——没有有效深度的区域，特别是在前景对象的边界部分；第二，Kinect深度图中也存在着严重噪声。

Kinect的深度图需修复以便用于需要高质量深度图的实际应用中，在这个问题上人们已有很多研究。Dan Miao等在论文“Texture-assisted Kinect Depth Inpainting”中提出了利用彩色图像纹理作为辅助信息的Kinect的深度修补算法，其中，在彩色图像中纹理边缘被提取为辅助信息，在深度图中对平滑区域和边缘区域中采用不同的修复方案。Junyi Liu等人在论文“Guided Inpainting and Filtering for Kinect Depth Maps”中提出了引导快速行进算法(guided fast marching method，GFFM)来修复Kinect深度图。S.Matyunin在论文“Temporal filtering for depth maps generated by Kinect depth camera”提出了使用从视频中物体的运动和颜色信息来处理Kinect深度图。但是现有的Kinect深度图修复方法很难处理大的空洞，在由于边界遮挡而形成空洞处也难于给出比较准确的深度值。

发明内容：

针对现有技术方案所存在的缺陷和不足，本发明提供一种基于彩色图像分割的Kinect深度图修复方法，本方法将对应的彩色图像分割结果作为参考信息修复深度图，来重建深度图的无效区域，再利用彩色图像作为引导信息对重建后的深度图滤波，达到去噪的效果；以实现在同时拍摄的彩色图像的提供参考信息的基础上，通过对彩色图像分割处理，获得深度图空洞重建区域，得到较好质量的Kinect深度图。

专业技术术语：

有效深度：在Kinect获得的深度图是一副灰度图，灰度取值范围在[0，255]之间，有效深度指取值范围在[1，255]之间的深度，而无效深度是指由于遮挡、反光等因素而造成的取值为0的深度，表示Kinect相机没有获得该像素的实际深度。

引导滤波：是现有的一种新的滤波技术，使用一副图像(引导图像)对另一幅图像进行滤波，能够有效的保持待滤波图像的边缘信息。

本发明的技术方案如下：

一种基于彩色图像分割的Kinect深度图修复方法，包括步骤如下：

A、获取彩色图像和深度图；

将同时获得的彩色图像和深度图对齐；

B、对彩色图像做分割预处理；

对彩色图像做分割预处理，得到彩色图像的所有分割物体区域；

C、缺失深度值D_p估计；

对空洞边界上缺失深度值的像素p所在的分割物体区域R_k，在分割后的彩色图像中选择对应的分割物体区域R_k；在深度图的分割物体区域R_k中，选择像素p周围深度值已知的像素点的深度值D_q；利用彩色图像中的分割物体区域R_k和深度图的分割物体区域R_k中深度值D_q进行缺失深度值D_p估计，得到中间深度图；

使用像素p周围深度值已知的像素点的深度值D_q计算p的深度值，并只在同一个分割物体区域R_k中的像素被选择用于计算，这避免不同的对象的深度值的干扰，因此它可以产生一个具有更精确边界的深度图；