[发明专利]一种新的合成虚拟视点客观质量评价方法

说明书

技术领域

本发明涉及一种新的合成虚拟视点客观质量评价方法，特别是一种基于边缘的部分参考质量评价方法。

背景技术

3D(Three Dimensional)电视使人产生身临其境的感觉，是一种能够提供立体感的新型显示技术。近年来，各类电视生产商、研究机构及国内外标准化组织均将3D列为重点研究的技术领域。而作为3D其中一种形式的自由视点电视使人们能从任意场景视角接收现实世界，然而由于其数据量庞大，为减少自由立体视频数据量，同时支持交互性，多视点视频+深度(Multiview Video plus Depth,MVD)方法应运而生。MVD利用深度信息更准确地表示3D场景信息，便于合成更高质量的虚拟视点图像，可在一定范围内的任意位置合成高质量的虚拟视点图供用户观看，且允许用户根据自己的喜好随时改变观看的视点。MVD视频格式在自由立体视频系统的终端主要采用了DIBR(Depth Image Based Rendering，深度图像绘制)技术，其核心是三维图像变换，DIBR利用静止或运动图像中每一点的深度信息来产生一个或者多个虚拟视点，大大减少了参考图像的数目，节省了图像数据的存储空间和传输带宽。通过DIBR过程产生的虚拟视点出现了新的失真类型，主要表现为边缘区域的伪边缘。这是由于合成过程中存在着深度变换和视点融合等步骤，基于深度的3D变换的不准确及遮挡等在合成视点的边缘会出现高频噪声；并且在某些位置上，由于遮挡等原因，生成的图像会产生空洞，物体边缘出现失真。合成的虚拟视点的质量是决定自由视点能否获得广泛应用的关键，虚拟视点的质量受诸多因素的影响，例如视点合成算法，压缩算法，纹理图及深度图的质量。目前对于合成的虚拟视点质量一般采用常用于二维的PSNR(Peak Signal to Noise Ratio，峰值信噪比)全参考评价方法，而这种方法是基于全像素的，没有考虑虚拟视点边缘失真的特点。因此结果往往和主观感知的视频质量不相一致。甚至会出现PSNR较高者看起来反而比PSNR较低者差的情况。这是因为人眼的视觉对于误差的敏感度会受到许多因素的影响而产生变化，例如：人眼对边缘敏感度较高，用基于全像素的PSNR就会造成评价误差。

图像质量评价方法分为主观和客观两种方法，主观评价方法需要测试者借助原始图像成对比较来区分图像差异，然而这个是耗时间的。因此人们将重点放在客观评价方法上。客观评价方法是针对图像的失真情况得出相应的验证算法，以数字的方式表现图像质量好坏。根据失真图像与其相应的原始参考图像的依赖程度，可把视频质量评价方法分成3大类，全参考方法(Full-Reference,FR)、无参考方法(Non-Reference,NR)、部分参考方法(Reduced-Reference,RR)。目前对于合成的虚拟视点，常用的方法是借助虚拟视点的原始参考视点进行评价，然而虚拟视点会存在无原始图像的情况，因此必须借助无参考评价方法，然而无参考评价方法不能结合虚拟视点产生过程，既不能针对虚拟视点的特殊失真，因此评价结果会产生偏差。评价结果不能完全符合人眼的主观感受。迄今，针对多视点视频中的虚拟视点的质量评价方法研究较少，还没有普遍针对特殊失真使用的方法。

发明内容

本发明的目的是针对虚拟视点的合成过程，提供一种针对其特殊失真的部分参考质量评价方法。与传统的评价方法相比较，本文方法是针对基于深度的多视点视频合成过程，利用提取合成的失真虚拟视点边缘图及未失真的纹理边缘图合成的虚拟视点边缘图之间的关系建立评价函数，并将这个评价函数引入到虚拟视点的质量评价中，本方法充分利用合成虚拟视点所使用的左右视点信息，在缺少虚拟视点对应原始视点的情况下，可有效评价虚拟视点的质量。

为达到上述目的，本发明的构思是：

如图1所示，首先用失真纹理图和其对应的深度图合成虚拟视点，并提取虚拟视点的边缘图；然后提取未失真的左右纹理边缘图，并用提取的边缘图和对应的深度图合成虚拟视点边缘图；用SSIM(Structural Similarity，结构相似性)方法评价失真的合成虚拟视边缘图与参考合成虚拟视边缘图；根据对多种序列得到的相似度值对到边缘相似性建立评价函数；最后根据虚拟视点和边缘虚拟视点质量的质量关系推导相似性函数中设置的常参数；将常参数代入边缘相似性函数得到质量评价模型。

为达到上述构思，本发明的技术方案是：