[发明专利]一种提高三维视频系统中合成虚拟视图质量的方法

说明书

技术领域

本发明涉及一种提高三维视频系统中合成虚拟视图质量的方法，属于三维立体视频编码标准中的虚拟视图合成技术领域。

背景技术

三维立体视频作为未来主要的视频应用技术，是指用户通过三维立体视频显示设备可以享受到真实的三维立体视频内容。三维视频的相关技术，比如，三维立体视频采集、三维立体视频编码、三维立体视频的显示等技术已经得到广泛的关注。为了推动三维立体视频技术的标准化，2002年，运动图像专家组(Motion Picture Experts Group，MPEG)提出任意视点电视(Free View Television，FTV)的概念。它能够提供生动真实的、交互式的三维立体视听系统。用户可以从不同的角度观看该角度的三维立体视频，使得用户有融入视频场景中的真实感受。FTV可广泛应用于广播通信、娱乐、教育、医疗和视频监控等领域。为了使用户可以观看到任意角度的三维立体视频，FTV系统服务端使用已标定好的摄像机阵列获得一定视点上的视频。并对不同视点上的视频校正，利用校正过的视频信息通过虚拟视图合成技术生成虚拟视点的虚拟视图。目前MPEG建议具体使用基于深度-图像(Depth-Image Based Rendering，DIBR)的虚拟视图合成技术。深度信息一般通过深度图表示。虚拟视图合成的主要过程如下：

1).确定要虚拟视点在摄像机阵列中的相对位置。

2).确定用于合成虚拟视点的纹理视频。

3).确定步骤2)的纹理视频对应的深度图。

4).依据步骤2)与3)中的纹理视频和深度图，采用DIBR技术，合成虚拟视图。

FTV的标准化工作分为两个阶段进行。第一阶段是2006年至2008年由JVT(Joint Video Team，联合视频编码组)制定的H.264/AVC的扩展方案-MVC(Multi-View Video Coding)。MVC可以对多视点纹理视频进行编码。但是要最终实现FTV系统的功能，还必须要对深度信息进行编码。目前FTV的标准化制定工作已经进入第二阶段，即3DVC(Three Dimensional Video Coding)。3DVC主要关注深度信息的表示与编码，以及纹理视频与深度信息的联合编码。3DVC中，深度信息通过深度图表示。

衡量3DVC性能的主要指标是合成虚拟视图的质量，以及纹理视频、深度图的编码码率。虚拟视图的质量：

通常采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)来衡量视频的质量。PSNR的计算公式如下式所示，

PSNR=10×log(2552MSE)]]>

上式中MSE表示原始视图与合成虚拟视图之间的均方误差，用来衡量虚拟视图的失真，以及纹理视频的编码失真、深度图的编码失真。

在实际应用中，虚拟视点的视图是不存在的，也即不存在原始视图。但是由于3DVC主要关注编码性能，因此为衡量3DVC的性能，首先采用未经编码的已有纹理视频及其对应的深度图合成虚拟视图V_orig，然后采用经过编码后的重建的纹理视频以及编码后重建的深度图合成虚拟视图V_rec，最后通过计算V_rec与V_orig之间的MSE，进而得到PSNR，以衡量3DVC的性能。

如图1所示，在3D视频系统中，用户观看的虚拟视图是通过解码重建的视频、深度信息经过DIBR技术合成的。如图2所示，左侧摄像机中的像素m可以通过下式投射到3D世界坐标系中的物点M上，

(X，Y，Z)^T＝RgA^-1(x，y，1)^TgZ+t，