[发明专利]一种基于深度和局部相似度的图像质量评价方法

说明书

本发明涉及一种基于深度和局部相似度的图像质量评价方法，包括下列步骤：将失真图像和原始图像输入到两个独立的VGG‑F网络中，得到失真图像和原始图像的深度特征图；将失真图像和原始图像的深度特征图用进行卷积运算，得到边缘图；将失真图像的各卷积层输出的边缘图和原始图像的相对应的卷积层输出的边缘图进行局部比较，得到二者的相似度，计算各自的深度和局部相似度图；通过均值及其标准差池化，将深度和局部相似度DLS图的深度分数和局部相似度分数池化为深度特征级分数；将VGG‑F网络中某一卷积层中多个深度特征级分数合并为一个层级别分数，并将这些层级别分数合并得到整体质量分数示。

技术领域

本发明属于数字图像处理领域，涉及一种新型的彩色图像质量评价方法。

背景技术

随着互联网和各种电子设备的飞速发展，每秒都产生成千上万的彩色图像。图像在采集、压缩、处理、传输等过程中不可避免地会因各种类型的失真而退化。因此，了解图像质量的下降程度对后续的处理是有帮助的。

根据失真图像的原始图像的可用性，图像质量评价可分为全参考(Full-Reference,FR)、半参考(Reduced-Reference,RR)和无参考(No-Reference,NR)。FR算法需要原始图像和失真图像来预测质量的下降程度，RR算法只应用了参考图像的部分信息。而NR算法实在不提供原始图像的情况下，对失真的图像进行质量预测。本发明属FR算法。

关于全参考图像质量评价的有意义的研究，从Wang和Bovik等人的通用质量指数开始[2]。随后，Wang等人基于人类视觉系统(HVS)对提取场景的结构信息高度敏感的假设，提出了结构相似性指数(SSIM)[3]。Zhang和Li等人发现了视觉显著图与感知预测相似，提出了基于频谱残差的相似度(SR-SIM)[4]。Zhang等人将SR-SIM扩展为基于视觉显著的索引，进一步解决了彩色图像质量下降的问题[5]。Bosse等人提出了基于卷积神经网络(CNN)的全参考图像质量评价算法[6]。Gao等人开发了深度相似度(DeepSim)，用于测量失真图像深度特征图和原始图像深度特征图之间的相似性[7]。

参考文献：

[1]J.Harel,C.Koch,and P.Perona,“Graph-based visual saliency,”inAdvances in neural information processing systems,2007,pp.545–552.

[2]Z.Wang and A.C.Bovik,“A universal image quality index,”IEEE signalprocessing letters,vol.9,no.3,pp.81–84,2002.

[3]Z.Wang,A.C.Bovik,H.R.Sheikh,E.P.Simoncelli et al.,“Image qualityassessment:from error visibility to structural similarity,”IEEE transactionson image processing,vol.13,no.4,pp.600–612,2004.

[4]L.Zhang and H.Li,“Sr-sim:A fast and high performance iqa indexbased on spectral residual,”in 2012 19th IEEE international conference onimage processing.IEEE,2012,pp.1473–1476.

[5]L.Zhang,Y.Shen,and H.Li,“Vsi:A visual saliency-induced index forperceptual image quality assessment,”IEEE Transactions on Image Processing,vol.23,no.10,pp.4270–4281,2014.