[发明专利]一种基于轻量化网络的超分辨率图像重建方法

说明书

本发明公开了一种基于轻量化网络的超分辨率图像重建方法。本方法主要包括网络轻量化设计和网络量化设计两个大的模块，其中，网络轻量化模块主要是利用本发明设计的ShuffleNet unit结构改进原有的EDSR网络结构，从而精简结构，大量减少网络参数，减轻存储压力；网络量化模块主要是由网络剪枝、权值共享、霍夫曼编码三部分组成，通过三部分的结合，对网络参数进行了量化，并改变了编码方式，从而极大压缩了网络参数量，提升了计算速度。本发明在现有的图像超分辨率重建网络基础上改进网络结构，并结合多种深度压缩的方法进行优化，可以有效保证图像重建后的效果，同时做到了网络参数少、处理速度快、可移植性强。

技术领域

本发明涉及计算机视觉、图像超分辨率重建领域，具体地涉及一种基于网络结构轻量化和参数量化的超分辨率图像重建方法。

背景技术

超分辨率图像重建是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的过程。

相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。但在实际上中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。

提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但这种做法受限于制造工艺难以大幅改进、制造成本十分高昂等约束。由此，从软件和算法的角度着手，实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。

而通过深度学习所构建的超分辨率重建的神经网络，大多都过于体积庞大或者要求的计算资源过多，所以轻量化的超分辨率重建方法成为了研究的热点。

现有的一些关于轻量化超分辨率重建的专利(包括发明授权专利和发明公布专利)，如下：

1)申请号为：CN201810638253.X的中国发明专利《基于递归残差网络的超分辨率图像重建方法》，此发明采用局部残差学习而非VDSR所用全局残差学习来训练神经网络，并通过在残差单元中引入递归结构。但此方法仍然使用了残差网络，残差网络深度深，参数量较大。并且残差网络适用于解决高层的计算机视觉问题，而超分辨率属于低层计算机视觉问题。

2)申请号为：CN201810535634.5的中国发明专利《一种基于改进的稠密卷积神经网络的超分辨率重建方法》，此发明将稠密卷积神经网络结构(Dense ConvolutionalNetwork,DenseNet)的思想应用到单帧图像的超分辨率重建，并在DenseNet结构的基础上改进了网络结构，减小了一定的参数，但此方法占用内存高，计算量大，不适合在一般的电脑或者移动端使用。

随着深度学习的发展，计算机视觉领域的发展十分迅速。轻量化的超分辨率重建网络也很多，但他们任有许多不足，如：参数较多、占用内存高、计算量大，这些网络有着很大的提高空间。本发明的创新点在于通过重新设计网络结构，结合剪枝、权值共享、霍夫曼编码多种量化的方法以达到减小网络体量、降低计算复杂度、去除冗余的内容，从而能够运用到移动端或者做到实时处理的目的。

发明内容

本发明针对现有技术的不足，提供一种基于轻量化网络的超分辨率图像重建方法。

本发明基于EDSR(Enhanced Deep Residual Networks，下简称EDSR)模型进行设计，技术方案包含以下步骤：

步骤1，用设计的ShuffleNet unit代替EDSR超分辨率重建模型的ResBlock(残差块)中两个的卷积核，得到改进后的网络模型，其中，ShuffleNet unit由1×1GConv(逐点组卷积)、通道混洗、3×3DWConv(深度分离卷积)、1×1GConv四个部分组成；

步骤2，对步骤1中改进后的网络模型进行权值参数压缩训练，包括以下子步骤；