[发明专利]深度图像增强方法和装置

说明书

技术领域

本发明总体地涉及图像处理，更具体地涉及深度图像增强方法和装置。

背景技术

基于视觉的深度测量广泛用于人机交互、目标检测和跟踪等领域。

但是，由于周围环境、硬件或软件的计算资源的限制等因素，仍存在深度测量准确性上不能满足要求的问题，例如不能满足触摸屏之类的人机交互场景下所需的高准确率。

在题为“Method,medium,and apparatus of filtering depth noise using depth information”的美国专利公开US20100183236公开的技术中，采用深度信息来过滤深度噪声，其中直接利用通用的彩色图像噪声滤波器，并且根据深度信息调整滤波器参数。

在题为“APPARATUS,METHOD AND COMPUTER-READABLE MEDIUM GENERATING DEPTH MAP”的美国专利公开US20110026808公开的技术中，基于2个像素，即t时刻的第一像素P1(x,y,t)和t+Δt时刻的第二像素P2(x+Δx,y+Δy,t+Δt)，的深度值相似度、距离和区别来为人类视觉感知（Human Visual Perception,HVP)模型计算平滑度S(P1,P2)，其中根据期待的平滑效果手工决定Δx、Δy和Δt的大小。

在题为“Method and device for processing depth image sequence”的华为技术有限公司的国际申请公开WO2010083750中公开的技术中，为了解决深度图像序列的图像质量和时间一致性低（静止区域的深度值抖动）的问题，同时解决由此造成的深度图像压缩算法的压缩预测残差和比特率升高的问题，利用视频压缩技术来修正噪声，例如：采用运动估计的方法，计算深度图像序列的绝对差别的总和(SAD)，计算纹理图像序列的运动向量，然后根据运动估计的结果调整深度值。

发明内容

根据发明人的观察，深度测量结果中的不准确像素的特征有以下几个：（1）即便是不准确的像素，有时也会有准确的结果；（2）一些周围的像素的深度值是准确的；（3）不准确的测量结果由环境、硬件和软件等多种问题引起，这些错误的检测结果的模式很复杂，难以精确解释。

关于不准确的深度测量结果修正，发明人认为目前有以下几个重要问题：（1）普通的彩色图像增强方法不适合深度图像处理，因为彩色图像和深度图像的特征不一样；（2）数据动态建模的方法可以分割出稳定性不同的数据分布，但对于单个像素的深度数据建模，由于深度不准确的像素值准确的概率很低，所以无法获得它准确的深度数据；（3）因为物体移动在人机交互场景下很常见，所以需要考虑物体移动对检测的影响。

基于上述发现，为了解决上述问题中的一个或多个，发明人做出了如下发明。

根据本发明的实施例，提供了一种深度图像增强方法，可以包括：对于当前帧的深度图像的区域，基于深度图像序列，检测运动；对于当前帧的深度图像的区域，根据运动检测的结果，在时域上确定要选取的先前帧的数目，并且对于所选取的先前帧和当前帧从区域中选择像素形成像素组；利用该像素组通过训练或更新来维护预定概率统计模型，当以每个像素的深度值或者像素组的深度值作为概率统计模型的输入时，概率统计模型给出表征该像素的深度值或者像素组的深度值的准确概率的准确度作为输出；以及基于维护的概率统计模型，修正像素组中当前帧的该区域中的每个像素的深度值。

根据本发明的另一实施例，提供了一种深度图像增强装置，可以包括：一种深度图像增强装置，可以包括：区域运动检测部件，对于当前帧的深度图像的区域，基于深度图像序列，检测运动；像素组形成部件，对于当前帧的深度图像的区域，根据运动检测的结果，在时域上确定要选取的先前帧的数目，并且对于所选取的先前帧和当前帧从区域中选择像素形成像素组；概率统计模型维护部件，利用该像素组通过训练或更新来维护预定概率统计模型，当以每个像素的深度值或者像素组的深度值作为概率统计模型的输入时，概率统计模型给出表征该像素的深度值或者像素组的深度值的准确概率的准确度作为输出；以及深度值修正部件，基于维护的概率统计模型，修正像素组中当前帧的该区域中的每个像素的深度值。