[发明专利]基于深度特征迁移学习的无参考图像质量评价方法

权利要求书

1.一种基于深度特征迁移学习的无参考图像质量评价方法，其特征在于，通过在失真特征提取子网络中嵌入多分支特征注意力模块，在尾部连接并联的两个分支作为质量回归子网络，利用一个预测层预测失真图像的质量分数；该方法的具体步骤包括如下：

(1)构建失真特征提取子网络：

(1a)搭建一个五层的图像失真特征提取子网络，其结构依次为：卷积层，第1卷积计算单元，第2卷积计算单元，第3卷积计算单元，第4卷积计算单元；第1至第4卷积计算单元采用瓶颈结构，每个瓶颈结构由三个卷积层级联组成；

(1b)将卷积层的输入通道数设置为64，输出通道数设置为128，卷积核大小设置为7×7，步长为2；将第1至第4卷积计算单元的瓶颈结构数量分别为3，4，6，3，每个瓶颈结构中卷积层的卷积核的大小分别设置为1×1，3×3和1×1；

(2)构建多分支特征注意力模块：

搭建一个由三个卷积层级联的多分支特征注意力模块；将第1卷积层中特征图分组数量groups设置为2，将第1至第3卷积层的输入通道数分别设置为64，128和128，卷积核大小分别设置为3×3，1×1和1×1，步长大小均设置为1；

(3)构建质量回归子网络：

构建一个结构和参数设置相同的两个下采样层组并联的质量回归子网络；每个并联的下采样层组由结构和参数设置相同的五个级联线性层组成，将五个级联线性层的节点个数分别设置为2048，1024，512，256和64，线性层的节点随机失活率分别设置为0.5，0.25，0.25，0.25和0；

(4)生成无参考图像质量回归网络：

将失真特征提取子网络，多分支特征注意力模块，质量回归子网络、一个预测层依次级联为一个无参考图像质量回归网络；所述的预测层的输入节点个数设置为128，输出节点个数设置为1；

(5)生成训练集：

(5a)从自然图像质量评价数据集中选取至少1020张、最多6000张的无参考自然图像组成样本集，对样本集中的每张图像依次进行归一化处理和预处理；

(5b)将预处理后的所有图像及其对应的标签组成训练集；

(6)训练无参考图像质量回归网络：

设置训练参数，将训练集输入到无参考图像质量回归网络中，采用随机梯度下降法迭代更新网络参数，直到损失函数收敛为止，得到训练好的无参考图像质量回归网络；

(7)对待评价无参考图像进行质量评估：

采用与步骤(5a)和步骤(5b)相同的方法，将待评价的无参考图像依次进行归一化和预处理，将预处理后的图像输入到训练好的无参考图像质量回归网络中，输出该图像的预测质量分数。

2.根据权利要求1所述的基于深度特征迁移学习的无参考图像质量评价方法，其特征在于，步骤(5a)中所述的归一化处理指的是：将样本集中的每张图像归一化处理的均值设置为mean＝[0.485,0.456,0.406]，标准差设置为std＝[0.229,0.224,0.225]，对图像的R，G，B三个通道分别使用均值为0.485,0.456,0.406，标准差为0.229,0.224,0.225，在[0,1]的范围内进行归一化处理；步骤(5a)中所述的预处理指的是，对每张归一化后的图像划分为大小32×32，采样步长为32的非重叠图像块。

3.根据权利要求1所述的基于深度特征迁移学习的无参考图像质量评价方法，其特征在于：步骤(6)中所述损失函数如下：

其中，L(·)表示无参考图像质量回归网络的损失函数，表示训练集中的第i张图像的标签，Q_i表示训练集中的第i张图像经无参考图像质量回归网络输出的该图像的预测值，N表示训练集中图像的总数，∑表示求和操作，i表示训练集中的图像序号，|·|表示取绝对值操作。

4.根据权利要求1所述的基于深度特征迁移学习的无参考图像质量评价方法，其特征在于：步骤(6)中所述的设置训练参数如下：将小常数设置为eps＝1e-8，将一阶和二阶矩估计指数衰减速率分别设置为：β₁＝0.9，β₂＝0.999，将一阶和二阶矩估计分别设置为s＝0,r＝0，将初始学习率设置为lr_ratio＝1e-3，将批处理大小设置为batch_size＝128，将权重衰减设置为weight_decay＝0。