[发明专利]一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法

说明书

本发明公开了一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法，该方法步骤包括：教师网络预处理；数据集预处理生成低分辨率图像；将低分辨率图像输入构建的学生网络中，输出学生网络重建的超分辨率图像；将低分辨率图像输入到多个教师网络中用于得到重建的超分辨率图像组；将学生网络重建的超分辨率图与教师网络重建的超分辨率图像组分别进行L1损失和感知损失计算，通过反向传播更新训练得到最终的学生网络模型；将低分辨率图片输入最终的网络模型，输出超分辨率图像。本发明的超分辨率训练方式减少了参数量，获得与成对数据训练出来的全监督教师网络可比的指标和视觉效果，同时模型大小得到了有效减少，与传统训练方式相比有明显提升。

技术领域

本发明涉及图像超分辨率重建技术领域，具体涉及一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法。

背景技术

超分辨率重建作为第二代图像恢复技术，主要是将低分辨率图像转换为高分辨率的清晰图像。基于学习的超分辨率方法主要分为两大类：面向重建图像保真度的方法和基于感知质量的方法。前者是指导下参考超分辨率重建图像与原始图像之间的质量评估，目标是产生高的结果客观指标如峰值信噪比(PSNR)和结构相似度指数(SSIM)来保证与原图更高的相似度，但视觉感知通常较差，主要表现为过于平滑边缘。相比之下，后者旨在重建高频特征，丰富细节，增强视觉质量。在最近的研究中，基于生成对抗网络(GANs)的纹理生成方法生成纹理的能力强大。然而，基于生成对抗网络的模型在恢复图像的细节时，极有可能在输出中产生虚假的纹理。此外，基于生成对抗网络的模型大多由生成器和判别器组成，计算成本高，网络结构复杂。大型网络的模型较大，需要训练更多的网络参数量，也不利于在其他平台上部署。

超分辨率重建具有不适定性的特点，即输入低分辨率图像可以对应多个高分辨率原图，因此是一个具有挑战性的病态问题。同时，在传统超分辨率重建神经网络的训练中，训练所需的高低分辨率成对图像集，往往通过高分辨率图像双三次插值下采样得到低分辨率图像构成。这种下采样方式并不能完全反映真实的图像退化情况，因此基于这种训练得到的神经网络在真实世界图像重建任务上往往表现较差。同时，传统训练方式都是采用的单维度多损失函数的约束方式，即只使用了成对数据集，导致高分辨率图像到低分辨率图像的求解空间过大，忽略了多维度数据集对于约束求解空间的作用，网络学习困难。为了丰富细节纹理，往往是通过加深网络，添加密集连接等方式，在拥有良好视觉的效果下却计算量庞大，极大得消耗了资源。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法，利用知识蒸馏对于特征提取的优越性，设计了一种全新的训练模式：由网络内部通过通道分割来提取更细粒度的特征进行内部知识蒸馏，同时利用网络外部的多个不同教师网络，进行多监督的外部知识蒸馏。在两者共同作用下，有效减少了参数量和推断时间，提升了图像的感知质量和视觉效果，并摆脱了传统超分辨率网络训练时需要成对数据集的限制，重建了相对于原始方式训练的网络更丰富的纹理信息，使得超分辨率图像具有更好的视觉效果，本发明将教师学生网络的知识蒸馏以及通过通道分割不断提取特征的网络结构内部的知识蒸馏进行结合，提出的多教师网络监督的学习方法可以用于训练各种超分辨率神经网络，以提高网络性能。

本发明的第二目的在于提供一种基于多维度知识蒸馏的轻量级图像超分辨率重建系统。

本发明的第三目的在于提供一种存储介质。

本发明的第四目的在于提供一种计算设备。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法，包括下述步骤：

教师网络预处理；

数据集预处理：将数据集中低分辨率图片进行数据增强、转换格式并随机裁剪，生成低分辨率图像训练集；

构建学生网络，将所述低分辨率图像训练集输入所述学生网络中，输出学生网络重建的超分辨率图像；