[发明专利]一种基于知识蒸馏的图像超分辨率增强方法

说明书

本发明公开一种基于知识蒸馏的图像超分辨率增强方法，其包括以下步骤：1）训练数据和测试数据的获取；2）教师网络的训练；教师网络拥有较深卷积层的神经网络模型，3）学生网络的训练；4）教师网络对学生网络的指导学习；通过三组指导实验由学生网络学习吸收教师网路的特征图；5）测试评估图像重建效果；6）根据输出特征图之间不同的矩阵关系对学生网络进行进一步指导。本发明利用知识蒸馏的相关思想，将教师网络的性能传递给学生网络，学生网络模型可以高效地运行在低功耗限制的移动设备和嵌入式设备上，学生网络网络结构不变的前提下，经过教师网络指导后的学生网络的PSNR有显著提升，得到更好的重建效果。

技术领域

本发明涉及计算机视觉和深度学习领域，尤其涉及一种基于知识蒸馏的图像超分辨率增强方法。

背景技术

超分辨率(Super Resolution,SR)是计算机视觉中的一个经典问题，单图像超分辨率(Single Image Super-Resolution,SISR)的目的是利用数字图像处理等方法，从单个低分辨率(Low-Resolution,LR)图像中恢复出与其对应的高分辨率(High-Resolution,HR)图像。在超分辨率问题中，假设低分辨率图像为X，我们的目标是恢复一个尽可能与真实(Ground Truth,GT)图像Y相似的超分辨率图像Y′。

传统的基于插值的放大方法，包括双线性插值(Bilinear Interpolation)和双立方插值(Bicubic Interpolation)等，使用固定的计算公式，利用低分辨率图像当中的邻域像素信息进行加权平均，计算出放大的高分辨图像中所缺失的中间像素，但是这种简单的插值算法不会产生更多具有高频信息的图像细节。

Dong^[1]等人提出的超分辨率卷积神经网络算法(Super-Resolution ConvolutionNeural Network,SRCNN)首次将卷积神经网络应用在图像超分辨率中，它直接学习输入低分辨率图像和相应的高分辨率图像之间端到端的映射关系。SRCNN很好地说明了深度学习在超分辨率问题中是有效的，能够重建很多高频的图像细节信息。Kim^[2]等人受VGG-net^[3]的启发，在超分辨率问题中使用非常深的卷积神经网络(Image Super-Resolution UsingVery Deep Convolution Networks,VDSR)，VDSR的网络结构由20个卷积层组成，更多的卷积层拥有更大的感受野，可以使用更多的图像邻域信息来预测图像高频细节，因此会有更好的超分辨率重建效果。Lim^[4]等人受SRResNet^[5]的启发提出了更深的增强型深度残差网络(Enhanced Deep Residual Networks For Single Image Super-Resolution,EDSR)，优化了SRResNet的结构，得到更好的超分辨率重建效果。

从学术界之前的工作可以看出，随着网络深度的增加，图像的重建效果越好。虽然增加网络的深度可以带来更好的超分辨率重建效果，但是同时运算量和内存消耗也会增加，在很多实际的应用场景中(例如移动端和嵌入式等低功耗的限制条件下)，无法实时运行很深的卷积神经网络模型。

发明内容

本发明的目的在于提供一种基于知识蒸馏的图像超分辨率增强方法，在不改变小卷积神经网络模型结构的前提下，提升网络模型的图像超分辨率重建效果，从而能够在移动端和嵌入式端上高效地运行基于卷积神经网络的超分辨率模型。

本发明采用的技术方案是：

一种基于知识蒸馏的图像超分辨率增强方法，其包括以下步骤：

1)训练数据和测试数据的获取；

1-1)训练集选择DIV2K和Flickr2K，一共包括3450张真实图像，测试集分别选择了国际公开数据集Set5,Set14,BSDS100,Urban100；