[发明专利]一种基于知识蒸馏的图像超分辨率增强方法

权利要求书

1.一种基于知识蒸馏的图像超分辨率增强方法，其特征在于：其包括以下步骤：

1)训练数据和测试数据的获取；

1-1)训练集选择DIV2K和Flickr2K，一共包括3450张真实图像，测试集分别选择了国际公开数据集Set5、Set14、BSDS100、Urban100；

1-2)采用Bicubic下采样的方法，将训练集的真实图像进行3倍下采样，得到与其对应的一组低分辨率图像；

1-3)使用opencv库中的imread()函数分别读取真实图像和低分辨率图像，图像格式为BGR数据，BGR分别代表彩色空间的蓝色、绿色以及红色部分，

1-4)然后将BGR空间的图像转换到YCrCb空间，Y代表明亮度，即灰阶值，Cr代表BGR红色部分与BGR信号亮度值之间的差异，Cb代表BGR蓝色部分与BGR信号亮度值之间的差异；

1-5)对YCrCb空间的图像进行通道分离，只选择Y通道数据进行训练，并对Y通道数据进行归一化处理；

1-6)对Y通道图像进行裁剪，将裁剪过后的真实图像块作为训练目标，将裁剪过后的低分辨率图像块作为网络训练时的输入，每一次迭代所需的训练数据为32对；

2)教师网络的训练；教师网络拥有较深卷积层的神经网络模型，

2-1)教师网络的第一层为特征提取和表示层，由卷积层和非线性激活层组成，非线性激活层选择ReLU作为激活函数，第一层的操作可用如下公式表示：F₁(X)＝max(0,W₁*X+b₁)式中，W₁,b₁分别为第一层卷积层的权重和偏置，“*”表示卷积操作，ReLU函数的定义为max(0,x)；

2-2)教师网络的中间层由10个残差块组成，每个残差块有两个卷积层，每个卷积层后是激活函数为ReLU的非线性激活层；用一个跳跃连接将第一个卷积层的输入和第二个卷积层的输出相加，仅对第一个卷积层的输入进行残差学习；每一个残差块用如下公式表示：

F_2o+1(X)＝max(0,W_2o+1*F_o(X)+b_2o+1)+F_2o-1(X)(1≤o≤10)

式中，o代表残差块序号，F_o(X)代表残差块中第一个卷积层和非线性激活层的输出，W_2o+1和b_2o+1分别代表残差块中第二个卷积层的权重和偏置，F_2o-1(X)代表残差块的输入；

2-3)教师网络的重构层是反卷积层，反卷积层用于将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等；

2-4)对于教师网络的训练，学习率设置为0.0001，使用MSE函数作为训练目标和网络输出的损失函数，其表达式如下所示：式中，n为训练样本数量，Y_i为输入图像，Y′_i为预测图像；

2-5)使用Adam优化方法使损失函数最小化；

3)学生网络的训练；

3-1)学生网络的第一层为特征提取和表示层，其参数设置与教师网络的第一层相同；

3-2)学生网络的中间层由3个深度可分离卷积模块组成，每个模块都是由一个3×3的深度级卷积层和一个1×1的卷积层组成，深度级卷积层和卷积层后都是一个激活函数为ReLU的非线性激活层，深度级卷积的操作由如下公式表示：

式中，K是大小为D_k×D_k×M的深度卷积核，将K中的第m个滤波器应用于F的第m个特征图，来产生经滤波的输出特征图G的第m个特征图；

3-3)学生网络重构层的参数设置与教师网络的重构层相同；

3-4)学生网络的学习率，损失函数，优化方法与教师网络相同；即学习率设置为0.0001，使用MSE函数作为训练目标和网络输出的损失函数，其表达式如下所示：式中，n为训练样本数量；

4)教师网络对学生网络的指导学习；通过三组指导实验由学生网络学习吸收教师网路的特征图；

5)测试评估图像重建效果；

6)根据输出特征图之间不同的矩阵关系对学生网络进行进一步指导；

设卷积神经网络的激活层的输出张量为A∈R^C×H×W，式中C为特征图个数，H和W分别为特征图的高和宽，

函数M将张量A作为输入，输出为二维矩阵，即：M：R^C×H×W→R^H×W，且输出特征图之间满足以下关系：

特征图均值的p次方：

特征图p次方的均值：

特征图的最大值：M_max(A)＝max_i＝1,CA_i

特征图的最小值：M_min(A)＝min_i＝1,CA_i

式中，M为函数，p为幂次方系数，A为卷积神经网络的激活层的输出张量，C为特征图个数，i为特征图序号。