[发明专利]一种利用多层深度表征进行无参考图像质量预测的方法

说明书

本发明公开了一种利用多层深度表征进行无参考图像质量预测的方法。本发明包括如下步骤：步骤(1)数据预处理：将所有图像缩放到统一的尺寸大小，减去平局值，将二进制数据转换为深度神经网络能识别的数据格式；步骤(2)特征提取及处理：利用一个在ImageNet上训练好的37层VGGnet模型进行特征提取，提取每层特征并进行处理，得到一个列向量；步骤(3)预测分数：将每层特征融合得到的列向量输入支持向量回归模型得到每层特征的预测分数；将各层分数平均值作为整张图片的质量评估分值。本发明提出了一整简单高效的针对图像质量评价的新方法。并且获得了目前在图像质量评价领域中的最好效果。

技术领域

本发明提到了一种利用多层深度表征进行无参考图像质量预测(BLind Imagequality predictioN via multi-level DEep Representations,BLINDER)的方法，其中主要涉及一种利用深层次网络进行预训练，并提取处理各层特征进行分数预测的方法，以及构建一个准确率极高的分数预测模型的建模表达。

背景技术

图像质量是比较各种图像处理算法性能优劣以及优化系统参数的重要指标，因此在图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有重要的意义。图像质量评价从方法上可分为主观评价方法和客观评价方法，前者凭借实验人员的主观感知来评价对象的质量；后者依据模型给出的量化指标。相对于主观质量评价，客观质量评价具有操作简单、成本低、易于解析和嵌入实现等优点，已经成为图像质量评价的研究重点。

无参考质量评价是客观质量评价方法之一，无参考图像质量评估(Blind imagequality assessment BIQA)的目标是能够在没有原始图像的参考的状态下，自动评估一副图像的质量并给出和人的主观感受相一致的评价值。

近年来，随着深度学习的迅速发展，使用深度神经网络，如深度卷积神经网络(Convolutional Neural Networks,CNN)和深度循环神经网络(Recurrent NeuralNetworks,RNN)进行端到端(end-to-end)地问题建模成为目前计算机视觉方向上的主流研究方向。在图像质量评价上，利用深度神经网络进行图像质量分数评估已经大大的超越了传统的质量评估方法，但仍存在一些缺点，总体可概括为两点：

(1)现有的用于图像质量评价的深度神经网络大都是浅层的，最大的网络仅有七层。然而其它视觉研究已经证明，网络层次越多，网络模型越深，则实验效果越好。所以用深层次的网络进行图像质量评价的研究是值得深入探索的一个方向。

(2)现有的基于深度神经网络进行图像质量评级的方法中，大都是用网络模型的最后一层网络输出作为预测图像质量分数的关键，但是，对于图像质量评价来说最后一层网络可能并不是最佳的选择。深度网络的最后一层往往会过度泛化一些对质量评价有着重要影响的人工操作，比如噪声和模糊，中间层虽然不具有深层网络携带大量深层次信息的能力，但是对于这些能够影响图片质量分数的因素足够敏感，所以对于提取中间层特征信息作为评估图片质量分数的评估依据很有意义。

发明内容

本发明的目的是针对现有技术的不足，提供一种利用多层深度表征进行无参考图像质量预测的方法。我们对五个标准的图像质量评价的数据做了实验，每个数据集均有n张扭曲的图片，和每张图片对应的平均主观分数值(mean opinion scores MOS)或差别平均值(difference mean opinion scores DMOS)值。

给定图像及相应的MOS值或DMOS值作为训练集。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)数据预处理

将所有图像缩放到统一的尺寸大小，减去平局值，将二进制数据转换为深度神经网络能识别的数据格式。

步骤(2)特征提取及处理