[发明专利]基于稀疏重建彩色融合图像的立体图像质量评价方法

说明书

本发明属于图像处理领域，为提出一种基于稀疏重建彩色融合图像的立体图像质量评价方法。此方法不仅与人眼主观MOS值具有很好的一致性，而且本文方法更加适合评价非对称失真立体图像，在一定基础上推动立体成像技术的发展。为此，本发明采，基于稀疏重建彩色融合图像的立体图像质量评价方法，首先，得到彩色融合图像，用彩色融合图像学习和训练字典，在训练好的完备字典D上重建失真的彩色融合图像，并使用相应的彩色融合图像进行信息补偿，然后，提取重建后的融合图像和相应的彩色融合图像的空间熵和谱熵特征，再对上述两种特征进行加权，得到最终特征；最后，通过支持向量机SVR得到最终质量分数。本发明主要应用于图像处理。

技术领域

本发明属于图像处理领域，涉及到图像融合、稀疏字典的构建以及立体图像质量评价方法的优化改进。

背景技术

随着多媒体成像和显示技术的飞速发展，立体成像技术得到了大量的关注与研究。在立体图像的采集、传输、压缩、恢复和显示过程中，不可避免的会引入一些失真。如何评价立体图像的失真程度，如何评价立体图像处理技术的好坏是值得讨论的重要问题。而立体图像质量评价方法可以解决以上问题。

目前，立体图像质量评价主要包括主观质量评价和客观质量评价。主观质量评价具有精确度高的特点，但是费时、费力、成本高。另外，主观评价的结果容易受到客观环境和主观情感的影响。因此，主观质量评价方法的实时性较差。相反，客观质量评价方法简单方便，能在较短的时间内自动检测测试图片的质量，具有很好的实时性。这对实际应用是十分重要的。因此，立体图像的客观质量评价方法得到了大量学者的研究^[1-4]。

目前所存在的客观立体图像质量评价方法主要包括基于2D图像的方法、基于特征提取的方法^[5-7]、基于稀疏表示的方法^[8-10]、基于深度学习的方法^[11-13]。本文主要讨论基于稀疏表示的方法。稀疏表示在图像处理、语音识别、模式识别等领域有着广泛的应用。虽然稀疏表示很少应用在立体图像质量评价领域，但也有一些研究人员展开了相关的研究。例如，文献[9]通过求解结构与纹理的稀疏编码来预测图像的质量。文献[14]分别提取图像的DOG,LBP和HOG特征并进行稀疏表示得到稀疏字典，然后利用学习到的字典进行立体图像的质量预测。以上这些方法都是首先评价左右视图的图像质量，最后将左右视点质量进行结合，得到被测立体图像的客观质量分数。事实上，人类视觉系统是一个复杂的神经系统，人的两只眼睛分别接收到同一场景的信息后，在视网膜上进行融合得到单视点融合图像，因为左右视点图像存在视差/深度信息，从而在人的大脑中产生了立体感觉。所以，以上先进行左右视点图像的质量评价最后得到立体图像的质量分数的方法是不合理的。本发明提出先将立体图像的左右视点融合成一幅单视点立体图像(融合图像)，然后对单视点立体图像特征提取，得到立体图像的质量分数。

为了模拟大脑的特性，一些研究者也开始通过处理融合图像来评估立体图像的质量。例如，文献[15-17]通过对左视点和视差图进行线型加权得到融合图像。但这种融合图像是由不完全符合人脑特性的简单方法得到的，且目前没有精确的获取视差的方法，不易获得良好的视差补偿图。文献[18]通过振幅与相位来评价立体图像质量，但是振幅与相位不能很好的代表融合图像。且以上方法获得的融合图像是灰度级别的融合图像，可能会丢失相应的颜色信息。另外，以上融合方法对于非对称失真的立体图像评价效果并不好。但是在现实的图像拍摄过程中，由于相机性能误差等客观原因并不能保证两个相机同时拍摄出的左右视点图像的亮度色度等完全相同，所以非对称失真的立体图像会更广泛。因此，本发明采用了一种更适合非对称失真的彩色融合图像进行立体图像质量评价任务。