[发明专利]2D/3D视频转换中的深度归一化方法及装置

说明书

技术领域

本发明属于三维视频(包括3DTV、3D电影等)技术领域，具体涉及2D/3D(二维至三维)的视频转换技术，特别是一种基于深度图渲染的2D/3D视频转换中的深度归一化方法及装置。

背景技术

目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D视频转为3D视频是解决此问题的有效途径。

将2D视频转为3D视频总的来说存在两种渲染方式：其中一种是通过采用某种方法从单一的视频帧中直接重建出具有视差的左右眼图像对；另一种是基于深度图的渲染(Depth Image-based Rendering，DIBR)，它的转换结果是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频后就可以进行观赏(参见“电影2D/3D转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》，2012，24(1)：14-28)。与前者相比，后者以其具有的三个独到特点：高效的压缩传输效率、与现有2D技术和不同设备的兼容性强以及在实时立体视频生成上具有的景深调整和快速渲染合成等技术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是3D渲染技术未来发展的方向。

图1显示了现有的基于深度图渲染的2D/3D视频转换方法，如图1所示，对于输入的2D视频，首先通过解码从该2D视频的视频流中分解得到视频帧，同时，利用某种深度线索从该2D视频中提取出有效的深度信息，从而得到与所述视频帧对应的初始深度图；然后，经过深度归一化模块调整生成归一化深度图；接着，将该归一化深度图与所述视频帧再经过基于深度图的3D渲染处理，从而得到3D视频并输出。

其中，深度归一化模块将由某种深度线索得到的初始深度图按照DIBR渲染标准进行了调整，该归一化调整步骤是基于深度图渲染的2D/3D转换方法中的重要步骤。

前述的“电影2D/3D转换技术概述[J]”中指出的当前2D/3D视频转换技术虽然方法众多，但是不同的深度线索只能在特定的条件下提供有限的深度信息，所以，如何保证在转换过程中深度信息在时间域上的稳定性是一个亟待解决的难题。

对此，传统的解决方法是对深度进行归一化并采用平滑滤波器对连续的深度图进行底层图像处理，然而，这种平滑效果十分有限。不仅如此，目前常用的深度归一化方法以初始深度图中深度的上下限为基准，采用线性的方法对深度范围进行调整，如果上下限受到了噪声的影响，则少数的噪声点就可以影响到整个场景的深度范围的分布。因此在2D/3D视频转换中使用现有的深度归一化方法无法有效保证视频流中深度提取的稳定性，从而影响了3D视频的实际转换效果。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是提供一种基于深度图渲染的2D/3D视频转换中的深度归一化方法及装置，以提高2D/3D视频转换中使用的深度归一化方法的深度提取稳定性。

(二)技术方案

为解决上述技术问题，本发明提供了一种用于2D/3D视频转换的深度归一化方法，包括如下步骤：提取与2D视频帧相对应的初始深度图的场景高层信息；基于3D视差区域原理，根据所述场景高层信息对场景的深度范围进行归一化调整。

其中，可通过深度直方图提取与2D视频帧相对应的初始深度图的所述场景高层信息。

所述的场景高层信息是场景中的最大深度、最小深度和主导深度。

所述提取场景高层信息的步骤包括：通过深度图统计直接获得场景中的最大深度和最小深度；以所述最大深度和最小深度分别作为上限和下限基准，将连续的深度变化空间划分为若干等间隔的深度区域，并统计出在初始深度图中每个区域所对应的像素点个数；以像素点个数最多的深度区域的均值作为所处视角下的场景的主导深度。

所述归一化调整的步骤是以主导深度和零视差平面作为基准来对场景的深度范围进行归一化调整。

所述归一化调整的步骤包括：选定要采用的非线性变换算子及对应的归一化后的初始深度上限B₁和初始深度下限B₂；根据所述归一化后的初始深度上限B₁和归一化后的初始深度下限B₂计算得到与零视差平面对应的归一化深度值B₃；根据深度归一化函数计算出归一化后的深度值。