[发明专利]一种视频图像2D转3D中优化处理深度图的方法和装置

说明书

技术领域

本发明涉及一种视频图像2D转3D中提升深度图质量的方法，尤其涉及一种基于场景连贯度和场景自然度的对比度优化的方法，大大提高了深度图的对比度，并且保持芯片计算开销在合理范围之内。

背景技术

在视频图像2D转3D的过程中，主要分为两个大的环节：深度图像的提取、3D视差图像的渲染。其中深度图像的提取是视频图像2D转3D计算过程中的重点和难点，如果不对所提取的深度图进行严格的优化处理，那么由此深度图渲染而成的3D视差图像产生的3D视觉效果将大打折扣。

一些传统的深度图优化处理方法主要是对深度图进行简单的低通滤波处理，虽然这种方法在一定程度上可以改善深度图的高频噪声，让深度图在一定程度上均衡统一。但是经过试验发现在深度图中运动物体的灰度值与背景的灰度值对比度不明显，对比度小的深度图渲染出来的3D视差图像中运动物体与背景的景深差距就小，3D视觉效果很不理想。目前对深度图进行优化处理的方法和手段各种各样，但这众多技术之中大都存在严重的缺点，要么对比度提升不明显，要么计算量太大而无法实时处理，这样就很难达到实际生产的需求。

中国专利ZL200910151710.3提供了一种生成深度图的方法，此方法利用显著性图生成模块和3D结构匹配模块，分别生成两路深度图，通过这两路深度图合成初始深度图，最后对深度图进行空域和时域的平滑滤波，得到最终深度图。可以发现该方法的主要不足之处在于：对深度图进行空域和时域的平滑滤波操作仍然是简单的低通滤波处理，深度图的对比度仍然没有改善。

本发明将对由基于运动估计和运动矢量深度图生成装置而生成的深度图进行严格的对比度提升处理。具体包括当前帧源图像与前一帧源图像之间的场景连贯度检测、当前帧源图像场景自然度检测、有效深度图区域内的对比度分化阈值计算和深度图对比度提升处理等环节。可以看出发明所示提升深度图质量的方法效果明显、运算量适中，大大弥补了原专利文献的缺点和不足。

发明内容

针对上述提及的技术问题，本发明提出一种2D转3D中提升深度图质量的方法，所述方法主要包括：初始深度图计算、当前帧源图像与前一帧源图像之间的场景连贯度检测、当前帧源图像场景自然度检测、有效深度图区域内的对比度分化阈值计算和深度图对比度提升处理等五部分，其中由运动估计和运动矢量计算初始深度图为现有技术，本说明书将不再详细介绍，下面重点介绍其余四个部分：

如图1所示的提升深度图质量的方法之流程图，本发明所揭示的方法会自动根据场景连贯度的大小（场景连贯度阈值）情况判断深度图对比度提升处理过程中是选用当前帧的对比度分化阈值还是选用前一帧的对比度分化阈值。简单的说，当前场景连贯度较大时选用前一帧的对比度分化阈值，场景连贯度较小时重新计算当前帧的对比度分化阈值，这种基于场景连贯度的选择性处理可以在一定程度上有效降低图像处理芯片的运算量，提高运算处理速度。

具体而言，场景连贯度检测包含：检测至少一个当前帧源图像像素点的灰度值大小，检测至少一个前一帧源图像的灰度值大小，计算前一帧源图像灰度值与后一帧源图像灰度值差值的绝对值与一固定常数对比，并针对所述当前帧源图像所有像素点重复所述的灰度值检测与所述弧度制差值的绝对值与所述固定常数对比，并计算小于固定常数的像素点个数占总像素点的百分比，即计算出一场景连贯度，如该场景连贯度大于一固定百分比，则该当前与前一帧源图像具有相关性，则自动根据前一帧源图像的对比度分化阈值进入深度图对比度提升处理步骤，如所述的场景连贯度大于一固定百分比，则所述的当前与前一帧源图像没有有相关性，则自动进入当前帧源图像场景自然度检测步骤；

本发明所揭示的方法自动根据场景自然度的大小（场景自然度阈值）情况来确定在深度图中计算对比度分化阈值的有效运算区域。有效运算区域的选择至关重要，因为它决定了对比度分化阈值的计算结果是否准确。如果运算区域选择错误，让一些非自然因素干扰那么不但不能提升深度图质量，反而降低深度图的有效信息量，让最终的3D视差图像受损。

具体而言，当前帧源图像场景自然度检测包含：检测当前帧源图像至少两个相邻的水平或垂直像素点的灰度值大小，比较该水平或垂直像素点灰度值大小，通过前述的两个相邻水平或垂直像素点灰度值差值的绝对值与一固定常数对比，并针对所述的当前帧源图像所有水平或垂直像素点重复所述的检测和对比，并计算大于前述固定常数的水平和垂直像素点个数占总像素点个数的百分比，即计算出一场景自然度；