[发明专利]一种基于深度残差网络的超分辨率图像质量评估方法

摘要

本发明公开一种基于深度残差网络的超分辨率图像质量评估方法，该方法在评估超分辨率图像质量的时候不需要原始图像作为参考，可直接给出符合人类视觉主观评估的图像质量得分。目前，大多数超分辨率图像都是通过全参考指标进行评估的，在许多实际应用中，获取待评估图像的参考图像非常困难甚至是不可能的。同时，大部分相关的算法仍然需要通过手工设计来提取图像特征。为了解决这些问题，本发明给出了一种符合人类视觉感知的超分辨率图像质量的无参考评估方法，该方法的创新性在于不需要手工的设计特征，直接利用设计好的深度残差网络自动提取特征。同时，该方法还提出了一种基于失真图像等级排序的方法，能够有效地解决含有人类主观评分的超分辨率图像数据集不足的问题。

主权项

一种基于深度残差网络的超分辨率图像质量评估方法，其特征在于：其包括以下步骤：步骤1，收集一组未经损失的高清原始图像数据集，步骤2，对原始图像数据集中的每一张高清图像按照3种以上的失真方式进行失真处理，且每一种失真方式按照5个以上失真等级进行失真，得到不同等级的失真图像；步骤3，把所获得的不同等级的失真图像中按一定的比例随机划分为训练集和测试集；步骤4，构建提取图像特征的深度残差网络结构，深度残差网络结构包括依次设输入图像之后的卷积层、批量归化层、激活函数层、池化层、16个依次串联的残差结构和全连接层，全连接层输出网络预测得分，残差结构包括三组卷积结构和Eltwise层，三组卷积结构依次串接后连接Eltwise层，每组卷积结构包括依次连接的卷积层、批量归化层和激活函数层，池化层分别与每个残差结构的Eltwise层连接；步骤5，计算获取深度残差网络结构所对应的损失函数；xi和xj分别表示在同一失真方式下，不同失真等级所对应的两张图像，且xi图像的主观质量低于xj，对应深度残差网络的输出分别记为f(xi,β)和f(xj,β)，则深度残差网络结构所对应的损失函数为：L(xi,xj,β)＝max(0,f(xi,β)‑f(xj,β))其中，β表示网络的待优化参数；步骤6，在，将同一失真方式下的多组不同失真等级的两张图像输入深度残差网络，结合步骤5的损失函数通过误差反向传播算法对深度残差网络进行预训练，获取损失函数所对应的梯度信息：▿βL=▿βf(xi,β)-▿βf(xj,β)f(xi,β)-f(xj,β)>00otherwise]]>其中，表示图像xi所对应的梯度，表示损失函数所对应的梯度；步骤7，利用公开的带有人类视觉主观得分的超分辨率图像数据集，改用平方欧式距离作为损失函数对预训练好的深度残差网络进行微调，同样采用误差反向传播的算法来训练模预训练好的深度残差网络，得到微调后的损失函数为：L(yi,yi′)=1NΣi=1N(yi-yi′)2]]>其中，yi表示第i张图像所对应的得分标签，yi'表示第i张图像所对应的网络预测得分，N表示该批次参与训练的图像数；步骤8，将待评估的图像输入微调后的深度残差网络，配合微调后的损失函数预测出每张待评估的图像的网络预测得分。