[发明专利]一种自由视点视频深度图编码方法及其失真预测方法

说明书

技术领域

本发明涉及视频信号的处理，特别涉及一种自由视点视频深度序列编码的失真预测方法。

背景技术

自由视点视频可以极大地增强用户的视觉体验效果，使用户获得更加逼真的3D场景体验，因而在影视制作、文物保护、军事模拟等领域有着广泛的应用前景。作为MPEG（Moving Pictures Experts Group）和VCEG（Video Coding Experts Group）的联合视频项目HEVC（High Efficiency Video Coding）的推广，3D-HEVC将被发展用于3D视频编码。

在3D-HEVC中，3D视频数据采用“多视点视频+深度图”的格式进行编码，其中深度图表征的是场景中物体到相机间的距离。利用解码后的纹理数据和深度数据，任意中间视点的视频可以被合成并显示在立体显示器上。在视点合成算法中，深度数据被用作将被编码视点的纹理像素变换到合成视点中，在此基础上对变换图分别进行插值、空洞填补、覆盖等操作，然后再将分别由左、右待编码视点获得的变换图融合。因此，解码后的深度图质量对合成视点的图像质量至关重要。为获得更好的深度图编码性能，在深度图编码过程中，用率失真优化的方法来选择编码模式和参数。率失真优化问题是一个拉格朗日优化问题，即选择能够使D+λ·R最小的编码模式或参数；D表示不同编码模式或参数下，编码当前块后，采用深度图失真计算方法得到的失真；R表示不同编码模式或参数下编码当前块产生的比特数；λ是拉格朗日乘子。

目前，深度图失真计算方法主要可分为三类：一、广泛用于视频编码的传统失真计算方法，例如SSD（Sum of Squared Differences）和SAD(Sum of Absolute Differences)。二、通过视点合成算法，计算编码深度图造成的合成视图的失真，来计算深度图失真的方法，例如SVDC（Synthesized View Distortion Change）。三、通过估算编码深度图造成的合成视图的失真，来预测深度图失真的方法，例如VSD（View Synthesis Distortion）。传统的失真计算方法原理简单，易于硬件实现，但未考虑深度图失真对合成视图的影响，因而不能从整体上保证合成视图的质量。基于视点合成算法的深度图失真计算方法，可以有效保证合成视图的质量，但其计算量极大，尤其不利于实时系统的应用。基于合成视图失真估计的深度图失真预测方法，恰当地平衡了编码复杂度和压缩性能，但现有估计模型的准确性都十分有限。

发明内容

本发明为克服现有技术的缺陷，提供一种可避免深度图编码过程中反复多次执行合成算法并可提高深度图失真预测的准确性的自由视点视频深度图编码的失真预测方法，其包括如下步骤：

A1获取两个以上视点立体视频纹理图与深度图；

A2利用当前待编码视点及其相邻待编码视点的纹理图和深度图，采用视点合成算法合成所述当前待编码视点及其相邻待编码视点的中间视点；

A3根据A2步骤的合成结果，记录当前待编码视点深度图中各像素点的合成特征，并生成相应失真预测权重；

A4根据所述各像素点的合成特征和相应失真预测权重，利用像素失真预测模型对当前深度图的编码块中各像素点的失真求和，得到总失真。

根据实施例，本发明还可采用以下优选的技术方案：

所述相邻待编码视点取编码次序上的上一视点，若无上一视点，则取编码次序上的下一视点。

所述像素点包括非显露点、前插值点、加权插值点、前双空洞点和混合类型点，其中：

非显露点的合成特征是，对应的纹理图像素点左右间隔在视点合成结果中均不被显露，其失真预测权重为w1，w1=0；

前插值点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，变换后均为插值区，在左右变换图融合时作为前景被显示，其失真预测权重为w2，w2=1；

加权插值点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，变换后均为插值区，在左右变换图融合时被加权求和，其失真预测权重为w3，0≤w3≤1；

前双空洞点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，变换后都为空洞填补区，在左右变换图融合时为前景被显示，其失真预测权重为w4，w4=1；

混合类型点的合成特征是，对应的纹理图像素点左右间隔在视点合成时，合成特征记为所述非显露点、前插值点、加权插值点和前双空洞点中任意两者的特征的混合，两个失真预测权重都被记录。

所述编码像素失真预测模型包括：

非显露点编码像素失真预测模型为