[发明专利]用于反向深度图渲染处理的维度变换空间下的滤波方法

说明书

本发明公开了用于反向深度图渲染处理的维度变换空间下的滤波方法，主要包括：步骤1：采用联合滤波器F1，在维度变换域下结合参考视角图像I_ori对原始深度图D_ori进行联合滤波，生成第一次滤波后的深度图D1；步骤2：采用联合滤波器F2，在维度变换域下对正向3D映射后的深度图D1和正向3D映射后的场景梯度结构G进行联合滤波，生成目标视角下优化后的深度图D₂；步骤3：结合深度图D2，对参考视角图像I_ori进行反向3D纹理映射，生成新视角图像I_new。本发明的用于反向深度图渲染处理的维度变换空间下的滤波方法，可以实现虚拟视点下深度图的空洞修复和优化，替代了现有方案中复杂的图像修复技术，保证了反向深度图渲染处理过程的运行效率。

技术领域

本发明涉及三维视图技术领域，具体地，涉及用于反向深度图渲染处理的维度变换空间下的滤波方法。

背景技术

目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D视频转为3D视频是解决此问题的有效途径。

虚拟视点合成方法是2D视频转为3D视频中的关键技术之一。目前，在众多合成方法中，基于深度图的渲染(Depth Image-based Rendering，DIBR)已经成为了一种国际上公认的技术方案。它是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频(参见“电影2D/3D转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》，2012,24(1):14-28)。这种合成技术在压缩传输效率、不同设备的兼容性以及在实时景深调整和快速渲染合成等方面具有明显的技术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是3D渲染技术未来发展的方向。

传统的DIBR渲染基于正向三维图像变换，即在已知参考视点图像和对应深度图的情况下，根据三维映射(3D warping)方程，先恢复出参考视角下每个像素点在空间中的三维坐标，再投影到虚拟视点的二维成像平面，从而得到虚拟视点图像。虽然这种技术有很多的优势，但是仍然存在一些难以避免的问题，如重叠、重采样、空洞现象等。针对这些问题目前常采用如附图1所示的处理流程，通过在DIBR前融合多种深度图预处理方法及在DIBR后融合多种图像修复技术来对应对众多问题。该方案流程虽然处理效果明显，但是由于涉及环节应对问题众多，难以在渲染效果和转换效率上找到一个平衡点。

除此之外，还有一种反向深度图渲染处理方案。在这种方案下，首先通过传统的3D变换获得虚拟视点的深度图像，然后基于虚拟视点下优化后的深度图像进行反向3D变换，从而获得虚拟视点的彩色图像。由于这种方案通过反向流程在原理上避免了传统渲染方法在3D映射时像素的多对一关系，从而可以很好的解决重叠和重采样的问题，使虚拟视图在主观效果上有大幅度的提升。但是在这类方法中，目前针对空洞现象的处理仍然放在了虚拟图像生成后的图像修复环节，计算复杂度较高，在一定程度上影响了整个处理流程的运行效率。

发明内容

本发明的目的在于，针对上述问题，提出用于反向深度图渲染处理的维度变换空间下的滤波方法，以实现虚拟视点下深度图的空洞修复和优化，替代了复杂的图像修复技术，保证了立体图像渲染过程的运行效率的优点。

为实现上述目的，本发明采用的技术方案是：用于反向深度图渲染处理的维度变换空间下的滤波方法，包括如下步骤：

步骤1：采用联合滤波器F1，在维度变换域下结合参考视角图像I_ori对原始深度图D_ori进行联合滤波，生成第一次滤波后的深度图D1；

步骤2：采用联合滤波器F2，在维度变换域下对正向3D映射后的深度图D1和正向3D映射后的场景梯度结构G进行联合滤波，生成目标视角下优化后的深度图D₂；