[发明专利]一种无参考图像质量评价方法

说明书

一种无参考图像质量评价方法，包括输入图像并进行数据预处理，得到归一化的图像和高频部分图像；经过归一化的图像小块进入主干基准网络，得到主干基准网络的低层次特征以及高层次特征；子任务一：以均方误差为损失函数，生成降采样后的残差图像；子任务二：以结构相似距离为损失函数，生成更精细的残差图像；主任务：质量评价，生成基于场景的质量损失敏感图；将子任务一与子任务二的残差图像拼接在一起，与主任务的质量损失敏感图做以元素为单位的乘法，获得感知质量损失图；对感知质量损失图征做全局平均池化，预测得到质量分数。该方法有效提高了对不同场景的适应性，提高了评价的准确率和效率。

技术领域

本发明涉及图像处理领域，更具体地涉及一种基于残差图像生成及多任务学习的无参考图像质量评价方法，是基于残差图像生成及多任务学习的无参考图像质量评价方法。

背景技术

相似方法，基于深度卷积网络的无参考图像质量预测器(Deep CNN-Based BlindImage Quality Predictor)方法，请参见参考附录^[1]。该方法同样有用到残差图像生成，但只是简单的在整体网络中增加一个图像输出项，质量评价与图像生成耦合度很高。

无参考图像质量评价是指在仅有失真图像的情况下对图片质量进行量化评价。图像质量评价具有一定的主观性，同时无参考限定了信息量，使用计算机客观算法对失真图片直接做出质量评价十分具有挑战性。进行无参考质量评价时，结合一些质量相关的辅助任务能对性能有较大的增益，但是现有基于生成任务的质量评价通常较为简单，在任务耦合程度，辅助任务本身性能上存在较大提升空间。例如，生成残差图像或者显著图像，生成图像本身较为模糊或者距离真实样本相差过大，影响质量评价性能。同时，辅助任务和质量评价并不是完全等同的任务，使用相同的特征会最终会限制质量评价性能，需要对不同的任务进行一定程度的解耦。

发明内容

本发明提供了一种基于残差图像生成及多任务学习的无参考图像质量评价方法，有效提高了对不同场景的适应性，提高了评价的准确率和效率。

本发明的技术方案如下：

一种基于残差图像生成及多任务学习的无参考图像质量评价方法，包括以下步骤：S1：输入图像并进行数据预处理，得到归一化的图像和高频部分图像；S2：经过归一化的图像小块进入主干基准网络，得到主干基准网络的低层次特征以及高层次特征；S3：子任务一：以均方误差为损失函数，生成降采样后的残差图像，其中，子任务一的输入来自于灰度高频部分图像小块以及主干基准网络提取的低层次特征；S4：子任务二：以结构相似距离为损失函数，生成更精细的残差图像；S5：主任务：质量评价，生成基于场景的质量损失敏感图；S6：将子任务一与子任务二的残差图像拼接在一起，与主任务的质量损失敏感图做以元素为单位的乘法，获得感知质量损失图；S7:对感知质量损失图征做全局平均池化，预测得到质量分数。

优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，在步骤S1中，将训练数据处理为模型需要的大小和格式，对图像数据进行采样得到图像小块。

优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，每一个输入图像将被采样25次，每一次随机取224×224的图像小块，并逐一进行图像归一化，最终的分数为25个图像小块的平均结果，归一化后的图像小块被送入主干基准网络，此外，还将图像小块灰度化，之后进一步提取图像小块的高频部分，得到25个归一化化后的图像小块及其高频部分，取灰度高频部分图像小块，送入子任务一。

优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，在步骤S2中，低层次特征来源于主干基准网络的浅层输出特征，高层次特征来源于主干基准网络的深层次输出特征。

优选地，在上述基于残差图像生成及多任务学习的无参考图像质量评价方法中，在步骤S3中，经过步骤S1得到的高频部分图像与步骤S2得到的低层次特征相拼接，之后输入子任务一的网络分支。