[发明专利]基于深度特征迁移学习的无参考图像质量评价方法

说明书

一种基于深度特征迁移学习的无参考图像质量评价方法，其步骤如下：构建失真特征提取网；构建多分支特征注意力模块；构建质量回归网络；生成无参考图像质量回归网络；生成训练集；训练无参考图像质量回归网络；对待评价图像进行质量评估。本发明失真特征提取网络所包含的多分支特征注意力模块能够自适应地捕获自然图像的失真特征，在质量回归网络的输出侧可以自动获得输入图像的质量分数。多个国际公开数据库上的广泛实验结果表明，本发明方法提高了失真图像质量的预测精度，具有评价无参考图像质量时与人眼视觉感知一致性更高、泛化性能更强的优点。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像质量评价技术领域中的一种基于深度特征迁移学习的图像质量评价方法。本发明可用于自动化地计算没有原始参考图像的自然失真图像的质量分数。

背景技术

随着万物互联时代的到来和数字多媒体技术的快速发展，图像已然成为人类从外部世界感知来获取视觉信息的主要来源。但是由于信号从发送端到接收端的过程中不可避免地会引入一些噪声抖动等引起图像质量下降的不可控因素，从而导致视觉质量下降和语义信息缺失。因此对图像质量的评价就显得尤为重要，通过设计高效、准确的图像质量评价方法，优化图像采集和处理系统，获取更高质量的图像。图像质量评价技术便应运而生，由于在大多数实际应用场景中很难获取到原始的参考图像(相应的无失真版本)，无参考图像质量评价方法应用最为广泛。无参考质量评估方法是一项不需要任何关于原始图像信息即可自动化地进行质量计算的技术，通过建立主观信念分数到客观评估分数的映射关系得到目标图像质量表示。

武汉大学在其拥有的专利技术“一种基于多路深度卷积神经网路的彩色图像质量评价方法”(申请号：CN201910414080.8，授权公告号：CN110163855 B)中公开了一种基于多路深度卷积神经网路的彩色图像质量评价方法。该专利技术主要解决传统方法对彩色图像的质量预测精度不高的问题。该专利技术实现步骤为：(1)彩色图像的多尺度变换和色彩空间变换处理，输出多个不同分量图像；(2)单路深度卷积网络结构的设计与改进；(3)单路深度卷积网络的训练与优化；(4)单路深度卷积网络模对多个分量图像进行特征提取以及多维特征的协同融合；(5)多维输出特征向量的特征降维处理；(6)非线性回归方法对主观意见分数与降维特征的函数映射，建立起彩色图像质量预测模型，进行彩色图像的质量评价。该专利技术虽然改进了针对彩色图像的无参考图像质量评价技术，提取了颜色分量中的质量感知特征。但是，该方法仍然存在的不足之处是，通过对彩色图像的多尺度变换和色彩空间变换处理，输出多个不同分量图像，利用多个卷积神经网络提取变换后的图像特征之间存在大量的冗余无关特征，最后通过非线性回归方法完成主观意见分数和降维特征之间的函数映射，不是一个端到端可学习的过程。

Ren等人在其发表的论文Ran4iqa:Restorative adversarial nets for no-reference image quality assessment.(2018Proceedings of the AAAI Conferenceon Artificial Intelligence.32(1),2018)中公开了一种基于生成对抗网络的无参考图像质量评价方法。该方法首先将待测图像切割为多个图像块，其次在滑铁卢大型数据库上进行训练后得到一个预训练的恢复性对抗网络，预训练阶段的输入图像是四种类型的失真图像(JPEG、JPEG2000压缩失真、高斯模糊、高斯白噪声)，通过此预训练模型生成图像块的伪参考图，然后将生成图像块和恢复图像块一起送入回归网络来计算图像的质量分数。该方法存在两点不足之处，其一，由于该方法是利用在滑铁卢大型数据库上进行预训练后得到的对应失真类型的生成图像，其训练周期比较长，无法推向其在实际生产和生活中的应用；其二，该方法的失真图像恢复模型仅考虑了4种不同等级的失真类型，而真实场景下的图像往往是多种失真类型的组合，而最终的主客观一致性结果在很大程度上依赖于恢复模型的准确性。

发明内容