[发明专利]一种基于深度残差网络的超分辨率图像质量评估方法

说明书

技术领域

本发明涉及图像质量评估方法，尤其涉及一种基于深度残差网络的超分辨率图像质量评估方法。

背景技术

超分辨率图像质量评估(Image quality assessment,IQA)是一种自动预测图像质量的技术。随着视觉媒体数据量的爆炸式增长，互联网每天生成、存储、处理和发送大量的数字图像。在这些过程中，经常会对图像产生不同类型的破坏如：噪音、模糊和压缩等，图像可能会因此而出现多种不同的失真。

因此，通常需要对失真图像进行超分辨率重构，以还原出清晰的图像。然而，针对超分辨后图像质量的评估问题，通常采用全参考的评估方式，如采用峰值信噪比(Peak signal to noise ratio,PSNR)、均方误差(Mean square error,MSE)和结构相似(Structural Similarity,SSIM)等指标。这些传统的超分辨率图像质量评价指标存在以下两个问题：第一，通常来说，在实际的应用中，原始的参考图像是不可获取。第二，这些评价方法都是建立在失真图像与原始图像差异的基础上所提出的，目的是为了考虑图像信号和噪声而不是人类视觉感知，不能够很好的反应出人类视觉对图像质量的评估。因此，超分辨率图像质量的评估需要一种无参考的方式，且该方式还要能够准确的反应出人类视觉对图像质量的评估。

总的来说，图像质量评估主要可分为以下三种：全参考(Full reference)、半参考(Half reference)和无参考图像质量评估(Blind image quality assessment，BIQA)。其中，全参考和半参考方式均需要原始图像作为参考依据。然而，在许多实际应用中，获取待评估图像的参考图像非常困难甚至是不可能的。因此，开发有效的BIQA方法已经变得越来越重要，该方法不会使用关于参考图像的任何特定信息。

在BIQA方法中，最常用的方法是使用基于自然场景统计(Natural scene statistics，NSS)的特征，该方法是建立在原始图像分布具有稳定性基础上的。传统的基于NSS的特征可以在变换域中提取得到，例如：Mittal等人，从局部的归一化图像中提取NSS特征，并通过支持向量回归(Support vector regression,SVR)的方法将提取到的特征用于预测图像质量得分[1]。很明显，基于机器学习和NSS的方法依赖于手工的方式提取数据的特征。

近年来，在无参考的图像质量评估领域，出现了一些应用深度学习的解决方案。例如，Liang等人采用双路径深度卷积神经网络对图像进行质量评估[2]，能够较好的将深度网络应用于图像质量评估中，但仍然存在可训练的图像数据集不足等问题。Kim等人采用深度学习技术实现无参考的图像质量得分预测[3]，该方法采用了一定的数据增强技术，但仍然无法满足训练深层网络的需求，仅使用了2个卷积层加上5个全连接层的浅层神经网络结构。Ma等人制作了一个含有人类主观感知评分的超分辨率图像数据集[4]，并提出了一种专门针对超分辨率图像质量评估的模型，该模型利用了传统的方法提取手工设计的特征。Liu等人提出了一种基于图像失真等级的方式来扩充训练数据集[5]，该论文采用了VGG-16的网络结构并在图像质量评估相关的数据集上训练，其使用的网络结构较浅，且没有将该方法用于超分辨率图像质量的评估中。中国公开专利“一种基于深度学习的无参考图像质量客观评价方法”(公开号CN105208374A，公开日为2015.12.30)采用了一种深度学习中的堆栈自编码器算法对训练集中的所有失真图像各自对应的自然统计特征集和平均主观意见分进行训练。该方法的缺陷是需要手工的设计NSS特征的提取，且使用的是简单的浅层深度神经网络。

上述基于深度学习的方法，仍然存在需要手工设计特征、缺少含有人类主观评分的超分辨率图像数据集而无法使用深度残差网络来训练等问题。总的来说，目前应用于超分辨率图像质量评估问题的深度学习方法存在以下两个缺点：第一，需要手工设计图像的特征。第二，需要大量的人类主观评分数据集来训练深层模型。因此，目前非常需要一种高效且准确的无参考图像质量评估方案。

发明内容