[发明专利]一种基于知识蒸馏的图像超分辨率增强方法

摘要

本发明公开一种基于知识蒸馏的图像超分辨率增强方法，其包括以下步骤：1）训练数据和测试数据的获取；2）教师网络的训练；教师网络拥有较深卷积层的神经网络模型，3）学生网络的训练；4）教师网络对学生网络的指导学习；通过三组指导实验由学生网络学习吸收教师网路的特征图；5）测试评估图像重建效果；6）根据输出特征图之间不同的矩阵关系对学生网络进行进一步指导。本发明利用知识蒸馏的相关思想，将教师网络的性能传递给学生网络，学生网络模型可以高效地运行在低功耗限制的移动设备和嵌入式设备上，学生网络网络结构不变的前提下，经过教师网络指导后的学生网络的PSNR有显著提升，得到更好的重建效果。

主权项

1.一种基于知识蒸馏的图像超分辨率增强方法，其特征在于：其包括以下步骤：1)训练数据和测试数据的获取；1‑1)训练集选择DIV2K和Flickr2K，一共包括3450张真实图像，测试集分别选择了国际公开数据集Set5、Set14、BSDS100、Urban100；1‑2)采用Bicubic下采样的方法，将训练集的真实图像进行3倍下采样，得到与其对应的一组低分辨率图像；1‑3)使用opencv库中的imread()函数分别读取真实图像和低分辨率图像，图像格式为BGR数据，BGR分别代表彩色空间的蓝色、绿色以及红色部分，1‑4)然后将BGR空间的图像转换到YCrCB空间，Y代表明亮度，即灰阶值，Cr代表BGR红色部分与BGR信号亮度值之间的差异，Cb代表BGR蓝色部分与BGR信号亮度值之间的差异；1‑5)对YCrCb空间的图像进行通道分离，只选择Y通道数据进行训练，并对Y通道数据进行归一化处理；1‑6)对Y通道图像进行裁剪，将裁剪过后的真实图像块作为训练目标，将裁剪过后的低分辨率图像块作为网络训练时的输入，每一次迭代所需的训练数据为32对；2)教师网络的训练；教师网络拥有较深卷积层的神经网络模型，2‑1)教师网络的第一层为特征提取和表示层，由卷积层和非线性激活层组成，非线性激活层选择ReLU作为激活函数，第一层的操作可用如下公式表示：F1(X)＝max(0,W1*X+b1)式中，W1,b1分别为第一层卷积层的权重和偏置，“*”表示卷积操作，ReLU函数的定义为max(0,x)；2‑2)教师网络的中间层由10个残差块组成，每个残差块有两个卷积层，每个卷积层后是激活函数为ReLU的非线性激活层；用一个跳跃连接将第一个卷积层的输入和第二个卷积层的输出相加，仅对第一个卷积层的输入进行残差学习；每一个残差块用如下公式表示：F2n+1(X)＝max(0,W2n+1*Fn(X)+b2n+1)+F2n‑1(X)(1≤n≤10)式中，n代表残差块序号，Fn(X)代表残差块中第一个卷积层和非线性激活层的输出，W2n+1和b2n+1分别代表残差块中第二个卷积层的权重和偏置，F2n‑1(X)代表残差块的输入；2‑3)教师网络的重构层是反卷积层，反卷积层用于将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等；2‑4)对于教师网络的训练，学习率设置为0.0001，使用MSE函数作为训练目标和网络输出的损失函数，其表达式如下所示：式中，n为训练样本数量；2‑5)使用Adam优化方法使损失函数最小化；3)学生网络的训练；3‑1)学生网络的第一层为特征提取和表示层，其参数设置与教师网络的第一层相同；3‑2)学生网络的中间层由3个深度可分离卷积模块组成，每个模块都是由一个3×3的深度级卷积层和一个1×1的卷积层组成，深度级卷积层和卷积层后都是一个激活函数为ReLU的非线性激活层，深度级卷积的操作由如下公式表示：式中，K是大小为Dk×Dk×M的深度卷积核，将K中的第m个滤波器应用于F的第m个特征图，来产生经滤波的输出特征图G的第m个特征图；3‑3)学生网络重构层的参数设置与教师网络的重构层相同；3‑4)学生网络的学习率，损失函数，优化方法与教师网络相同；即学习率设置为0.0001，使用MSE函数作为训练目标和网络输出的损失函数，其表达式如下所示：式中，n为训练样本数量；4)教师网络对学生网络的指导学习；通过三组指导实验由学生网络学习吸收教师网路的特征图；5)测试评估图像重建效果；6)根据输出特征图之间不同的矩阵关系对学生网络进行进一步指导；设卷积神经网络的激活层的输出张量为A∈RC×H×W，式中C为特征图个数，H和W分别为特征图的高和宽，函数M将张量A作为输入，输出为二维矩阵，即：M：RC×H×W→RH×W，且输出特征图之间满足以下关系：特征图均值的p次方：特征图p次方的均值：特征图的最大值：Mmax(A)＝maxi＝1,CAi特征图的最小值：Mmin(A)＝mini＝1,CAi式中，M为函数，p为幂次方系数，A为卷积神经网络的激活层的输出张量，C为特征图个数，i为特征图序号。