[发明专利]基于自监督的无参考图像质量评估方法及系统

说明书

本发明属于图像质量评估领域，具体涉及了一种基于自监督的无参考图像质量评估方法及系统，旨在解决现有技术中由于训练数据不足而导致图像质量评估模型性能不佳的问题。本发明包括：构建共享编码器的先验知识学习子网络和图像质量评估子网络构成的自监督无参考图像质量评估模型；以图像复原任务作为图像质量评估任务的代理任务，进行先验知识学习子网络的预训练；通过先验知识学习子网络和所述图像质量评估子网络的解码器之间设置的知识迁移通道进行知识迁移；在图像质量评估任务上进行模型微调训练；通过训练好的模型进行无参考图像的质量评估。本发明模型仅在较少的数据上进行训练就可以获得很好的性能，训练效率高，图像质量评估的准确性高。

技术领域

本发明属于图像质量评估领域，具体涉及了一种基于自监督的无参考图像质量评估方法及系统。

背景技术

图像质量评估(IQA，Image Quality Assessment)广泛应用于影音娱乐、医疗影像、航空遥感等场景中。根据有无参考图像，IQA方法可分为全参考、半参考和无参考方法。许多应用场景中，参考图像难以获取，因此无参考IQA(NR-IQA，No-Reference ImageQuality Assessment)方法，即没有参考图像的情况下对失真图像的质量进行评估，更具实用性，获得更广泛的关注。NR-IQA方法的关键是提取失真图像的有效表示，然后将其映射为一个质量分数。传统的NR-IQA方法通常采用人工设计的特征，例如小波变换系数、离散变换系数、图像的亮度系数等等。近年来，卷积神经网络(CNN，Convolutional Neural Network)在计算机视觉领域取得一系列进展，许多学者也纷纷借助CNN强大的特征提取能力来提升NR-IQA方法的性能。但训练一个优秀的CNN模型需要大量的人工标注数据，即图像的质量分数。该分数一般在实验室条件下，让受试者严格遵守评分规则给出对失真图像的质量评分，最后对每一幅图像的质量评分取均值所得。因此，IQA数据集的制作成本高且耗时长。难以获取大规模的标注样本已成为限制NR-IQA模型性能的主要因素之一。为了缓解训练数据不足的问题，许多NR-IQA方法采取预训练机制，首先在其他任务上进行预训练，然后再迁移到NR-IQA任务上进行微调，代表模型包括DBCNN和MetaIQA。这些方法普遍在分类任务上进行预训练，但分类任务主要关注高层语义信息，较少关注底层的失真信息，因此不利于对失真图像的质量评估。

一些文献提出了通过深度双线性卷积神经网络进行无参考图像质量评估的方法(DBCNN方案)[1]，首先由VGG-16模块为在ImageNet数据集上进行物体分类任务预训练的模型，然后设置与VGG-16结构相同的S-CNN模块，并在失真类型和失真程度的分类任务上进行预训练。VGG-16负责提取输入图像的语义特征，S-CNN负责提取输入图像的失真特征。最后采用双元线性池化的方法(Bilinear Pooling)将语义和失真特征相融合，输入到FC层中预测图像的质量分数。还有一些文献提出了通过元学习方法进行无参考图像质量评估的方法(MetaIQA方案)[2]，利用元学习的思想，首先通过预训练掌握部分失真类型，然后再将所学知识迁移到未知的失真类型上，探索已知失真和未知失真之间的关联性，从而进行更好的学习。其中模型训练过程主要包括：(1)选择部分失真类型的失真图像及其对应的质量分数，对模型进行预训练；(2)使用目标IQA数据集中所有失真类型的失真图像及其对应的质量分数，对(1)中预训练好的模型进行微调，最终得到NR-IQA模型。

然而，DBCNN方案采用了两个预训练的网络来提取语义和失真信息，但提取失真信息的S-CNN也是在分类任务上进行训练的。这导致了当失真类型和程度很多时，其预训练的效果不好，且分类任务属于有监督学习，这也一定程度会导致模型的泛化能力降低。MetaIQA方案采用了元学习的思想，利用失真图像和对应的分数输入到方案网络中进行预训练，让网络提前感知不同失真信息的分数水平。但该预训练的过程依旧依赖于IQA数据集，且不同IQA数据集的制作过程和打分规则不同，这会导致在其他数据集上微调时模型不适应的问题。且由于预训练过程只对图像质量分数进行约束，这会使得方案模型无法准确地提取出图像的语义和失真信息，导致模型可解释性不强的问题。