[发明专利]一种交互式的深度图纹理拷贝瑕疵去除方法

说明书

本发明涉及一种交互式的深度图纹理拷贝瑕疵去除方法，本发明专利利用深度相机同时对目标采集的彩色图像与深度图像，建立彩色图像与深度图像间的对应关系，对彩色图像中的亮度边缘(几何边、纹理边)进行检测并识别(用最小生成树将边缘片段连接)，并对纹理边缘与目标几何边缘用交互式的方法进行分类并标记，构建基于空间近邻与彩色图边界分类标记的深度图保边滤波算子，用彩色图像上的边缘标记信息引导深度图滤波，实现去除深度图中纹理拷贝瑕疵的同时保留目标表面真实几何边界的目的。本发明为基于ToF的Kinect v2深度相机构建了一个能保持真实几何特征而消除纹理拷贝——假几何边界的有效方法，且方法交互简单，方便易行。

技术领域

本发明属于计算机图形学领域，目标是提高消费级深度相机感知的场景深度图质量，特别涉及一种消除深度图中纹理拷贝瑕疵(即虚假目标边界)的交互式方法。

背景技术

对目标场景的深度感知测量是光学3D扫描的基础，也有助于对场景中不同目标进行分割与识别。消费级深度相机(基于ToF测距的Kinect v2)能够以低成本、便捷的方式获取场景的深度图，然而深度图对应3D表面片段含有明显(颜色、图案与材质边缘所引起的)纹理拷贝瑕疵。若直接使用捕获的深度图进行3D重建将在融合表面上呈现出虚假的几何特征，降低3D扫描目标的重建质量。因此，消除深度图中由颜色与材质纹理造成的虚假几何边界是提高深度图质量需解决的一个突出问题。

纹理拷贝瑕疵是将场景目标上的颜色与材质边缘“拷贝”到了反映目标几何形状的深度图上。而这种将颜色与材质边缘特征迁移与拷贝至深度图上所造成的小尺度虚假几何特征，并不符合目标表面的几何实际，最终在深度图对应3D表面片段上反映出虚假的形状变化特征。纹理拷贝瑕疵在以“飞行时间测距(Time of Flight，ToF)”为基础的Kinectv2深度相机所捕获的深度图中广泛存在。这种比较细小的伪几何特征会残留在扫描的表面上，降低目标表面扫描重建的精度，对表面几何特征的处理带来干扰。

纹理拷贝瑕疵以小尺度形状变化的形式显现在目标表面上，其与真实的几何细节特征具有相近的尺度。基于位置与法线变化及曲率等指标可检测到扫描3D表面上的纹理拷贝瑕疵，但难以将其与真实的几何细节特征区分开来。深度图一般都用单通道灰度图对场景中点到视点的垂直距离进行编码与存储，场景深度距离的细微差异在深度图中不能直观显现，也难以有效检测，而进一步识别其中的真实几何边缘与虚假的纹理拷贝瑕疵将更加困难，因此直接在深度图上操作小尺度的几何特征——消除纹理拷贝瑕疵，也不是一种有效的方法。

Kinect在感知深度图的同时还能捕获场景的RGB图像。而与深度图不同，彩色图能对真实几何边缘两侧不同的目标表面朝向产生亮度变化的响应，同时能够对目标表面颜色变化与纹理边缘的变化产生亮度与梯度响应。因此，在彩色图像上借助有效的边缘检测算子可以比较容易地检测出场景中物体的几何特征与颜色和纹理边缘特征。由于纹理材质、图案、颜色边缘与目标几何形状边缘均有较强的亮度响应，虽然在RGB图像上可以有效检测出几何特征与纹理边缘，但有效并可靠地区分二者仍然面临挑战。

因此，如何在检测并识别纹理、图案与颜色边缘基础上消除深度图的纹理拷贝瑕疵是本发明需要解决的核心问题。消除纹理拷贝瑕疵是提高深度图质量的重要途径，也是改善消费级深度相机三维扫描重建质量必需解决的重要问题，对目标表面小尺度几何细节特征的分析与处理具有重要意义。

发明内容

本发明目的在于解决消费级深度相机Kinect v2捕获深度图中出现的纹理拷贝瑕疵，提供了一种基于彩色图交互式识别目标表面纹理与颜色边界的深度图滤波方法。该滤波方法能有效去除深度图中的纹理拷贝瑕疵同时保留目标表面真实的几何边界特征。

本发明中所用Kinect v2版本的RGB图像与深度图在视角、分辨率上都有所不同。因此，使用棋盘标定的方法获取从深度相机空间到RGB相机空间的坐标变换，从而将深度图与RGB图像进行对齐。