[发明专利]一种适用于DIBR预处理过程的深度图融合方法

说明书

本发明公开了一种用于DIBR预处理过程的深度图融合方法，包括如下步骤：对原始深度图进行梯度分析，预估出新视点图像中的空洞区域；根据预估空洞区域分布生成初始影响度分布图；在维度变换空间下利用纹理图像对初始影响度分布图进行扩散；基于扩散后的影响度分布图对原始深度图和预平滑后的深度图进行融合，生成优化后的深度图。本发明的方法在高效的维度变换空间下，通过基于纹理特征扩散的影响度分布图来对原始深度图和预平滑后的深度图进行融合，从而实现优化后的深度图在不同区域平滑强度的自适应调整，不但有效保留了空洞区域的平滑作用以消除空洞影响，而且有效避免了对不出现空洞区域的过平滑而造成的额外扭曲现象。

技术领域

本发明属于三维视频技术领域，具体涉及2D/3D的视频转换技术，特别是一种适用于DIBR预处理过程的深度图融合方法。

背景技术

目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012 年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D 视频转为3D视频是解决此问题的有效途径。

将2D视频转为3D视频总的来说存在两种渲染方式：其中一种是通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对；另一种是基于深度图的渲染(Depth Image-based Rendering，DIBR)，它的转换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频后就可以进行观赏(参见“电影2D/3D 转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》， 2012,24(1):14-28)。与前者相比，后者以其具有的三个独到特点：高效的压缩传输效率、与现有2D技术和不同设备的兼容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是3D渲染技术未来发展的方向。

DIBR渲染是基于深度图的2D/3D转换方法中的重要步骤，它可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然有其局限性。由于DIBR从参考图像中根据深度图转换的映射关系虚拟出左右眼图像，视点的变化可能导致原图像中被前景物体遮挡的部分背景区域在新图像中暴露出来，而这部分区域在变换过程中没有对应的纹理映射，因此就会在目标图像上产生空洞现象。这个问题是 DIBR技术近年来的研究热点，也是提高3D图像质量的重要方面。针对这个问题目前常采用如附图1所示的处理流程，通过在DIBR前加入深度图预处理环节及在DIBR后基于图像修复技术来完成空洞的填补。

深度图预处理通常是采用各类滤波器对深度图进行平滑，这样绘制得到的新视点中将包含较小的空洞，有利于进一步的填补。这类方法运行效率高，作用明显，但是平滑滤波可能会导致虚拟图像中的物体边缘区域(尤其是竖直方向的边缘)产生几何形变。因此在2D/3D视频转换中现有的DIBR技术中深度图预处理环节无法有效保证虚拟图像无失真的转换合成，从而影响了3D视频的实际转换效果。

发明内容

有鉴于此，本发明的目的是针对现有DIBR深度图预处理技术环节的不足，通过维度变换域下扩散生成的影响度分布图来对原始深度图和预平滑后的深度图进行融合，从而实现优化后的深度图在不同区域平滑强度的自适应调整，不但有效保留了空洞区域的平滑作用以消除空洞影响，而且有效避免了对不出现空洞区域的过平滑而造成的额外扭曲现象，从以提升3D虚拟图像渲染效果。

为达到上述目的，本发明采用以下技术方案：

一种适用于DIBR预处理过程的深度图融合方法，包括如下步骤：

A)在原始深度图D_Ori中，利用空洞预估算子根据左右眼虚拟图像的深度变化规律对产生的空洞区域R_H进行预估；

B)生成初始影响度分布图I_f-init；