[发明专利]一种融合美学和舒适度的3D立体图像质量评估方法

说明书

本发明涉及一种融合美学和舒适度的3D立体图像质量评估方法，包括以下步骤：步骤S1：对训练图像集合和待预测图像集合中的每幅立体图像提取左、右视图的美学特征及左、右视图美学一致性特征，获得美学特征集F1；步骤S2：对训练图像集合和待预测图像集合中的每幅立体图像提取舒适度特征，获得舒适度特征集F2；步骤S3：对训练图像集合中的所有图像，结合美学特征集F1和舒适度特征集F2，将其作为机器学习特征集T1，训练得到立体图像质量评估模型；步骤S4：利用训练好的质量评估模型评估每幅待预测图像，得到所有待预测图像的最终质量评估分数。该方法有利于提高评估结果与用户主观分数的一致性。

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是一种融合美学和舒适度的3D立体图像质量评估方法。

背景技术

图像的质量评估算法分为有参考，半参考和无参考的质量评估。其中，无参考的质量评估旨在通过利用图像本身所具有的特征等方式，无需对应的参考图像来进行质量评估。

一张3D立体图像由左右视图组成，这也就使得3D立体图像既具有双目图像的深度特征也包含单目图像的特征。现实生活中，对用户最直观的感受是单目图像的美学特征。Niu等人在评价专业视频的帧画面时提到，专业摄影师对于画面的要求是，较少的主色调数目、适中的色彩饱和度以及平滑的亮度变化范围等。

和普通图像相比，双目图像的立体感来源于左右视图产生视差，从而在人眼视网膜上的成像存在差异，这种空间上的差异就仿佛是人眼在真实世界中看到的立体景观一样。Lambooij等人提出，过度的视差值、一些非自然状态下的模糊、颜色空间的不匹配等都会造成这些视觉不适。在视差中，又分为成像在屏幕前的负视差以及成像在屏幕后的正视差，以及零视差平面。其中，负视差是导致视觉舒适度体验的一个重要影响因素。Shao等人在研究立体图像的视觉舒适度体验中，为了特别分析立体图像中处于较大视差值产生的影响情况，将处于最大和最小的前10％的视差数据单独分析。据我们所知，在距离零视差平面一定范围之内，存在一个视觉舒适区域，处于该区域的视差值符合人眼球的自然调节，也不会存在视觉成像冲突等各方面问题。但是，在拍摄以及后期制作的过程都难免会导致视差数值在这个舒适区范围之外，这使得立体图像的视差范围存在不确定性的变化。

发明内容

本发明的目的在于提供一种融合美学和舒适度的3D立体图像质量评估方法，该方法有利于提高评估结果与用户主观分数的一致性。

为实现上述目的，本发明的技术方案是：一种融合美学和舒适度的3D立体图像质量评估方法，包括以下步骤：

步骤S1：输入训练图像集合、待预测图像集合以及用户对这两个集合中每幅立体图像的主观质量评估分数；对训练图像集合和待预测图像集合中的每幅立体图像提取左、右视图的美学特征及左、右视图美学一致性特征，获得美学特征集F1；

步骤S2：对训练图像集合和待预测图像集合中的每幅立体图像提取舒适度特征，获得舒适度特征集F2；

步骤S3：对训练图像集合中的所有图像，结合美学特征集F1和舒适度特征集F2，将其作为机器学习特征集T1，训练得到立体图像质量评估模型；

步骤S4：利用训练好的质量评估模型评估每幅待预测图像，得到所有待预测图像的最终质量评估分数。

进一步地，所述步骤S1中，对立体图像提取左、右视图的美学特征及左、右视图美学一致性特征，获得美学特征集F1，包括以下步骤：

步骤S11：对立体图像提取左、右视图在主色调数目、色彩饱和度以及亮度范围三个方面的美学特征，计算公式为：

L_t＝L₀(β*W*H)-L₀((1-β)*W*H+1)