[发明专利]一种图像超分辨率神经网络参数效率提升的方法

说明书

一种图像超分辨率神经网络参数效率提升的方法，包括如下步骤：S1、建立神经网络的卷积层和图结构的映射关系；S2、通过随机图生成器生成不同的图结构；S3、在随机图中选用合适的结构点以指导网络卷积层结构的稀疏化过程；S4、将选取的图结构映射回神经网络的卷积层之中；S5、使用同样的图结构进行映射，应用至图像超分辨率神经网络的所有中间层中；网络的每一层都保持同样的子结构；S6、将图像超分辨率网络的通道数进行扩大；S7、进行模型的训练。本方法可以节约参数储存的空间，而且可以实现简单部署，计算开销少，可定义范围灵活，泛化性强，可以轻松实现大规模的应用。

技术领域

本发明涉及图像超分辨率神经网络技术，特别是涉及一种图像超分辨率神经网络参数效率提升的方法。

背景技术

图像超分辨率(SR)任务旨在通过低分辨率的图像重建与其对应的高分辨率图像。如图1所示，通常从高分辨率图片(HR)到低分辨率图片(LR)的退化过程由退化核δ和噪声n共同定义，s则是图像下采样的倍率。由于图像在退化过程中丢失的信息是无法被重新获得的，所以图像超分辨率的过程存在无穷多解，是一个典型的不适定问题。传统的图像超分辨率方法以特定的插值规则指导图像的重建过程，这样的方法虽然在重建速度上占据优势，但是会产生明显的细节退化，无法保证重建质量。基于学习的图像超分辨率算法通过构建更宽更深的神经网络实现对图像更加精细的重建。然而，更宽更深的网络也意味着更多的计算开销和储存开销，更长的运行时间。在实际的应用场景中，我们所要考虑的因素不仅仅是图像的重建效果，同时也要考虑具体使用场景，使用设备的计算性能，储存空间大小等一系列因素。基于这样的现实因素，图像超分辨率网络的参数利用效率方面的研究也一直受到广泛的关注。

提升图像超分辨率网络参数利用效率的方法有很多种，包括但不限于通过特殊的网络构造机制(如注意力机制，参数共享机制等)直接设计小型网络模型，通过网络剪枝的方法在尽可能维持网络表达能力的前提下降低网络的参数量，通过量化的方法减少网络计算的浮点数，从而优化网络的计算量和储存量。然而，构建小型网络的方法因为内部存在复杂的运行机制，所以会使得网络的推理速度严重下降；基于剪枝的方法因为需要在原始网络上先进行预训练，所以会造成额外的计算开销；基于量化的方法在对小型网络进行部署时，会因为计算精度问题产生严重的伪影。除此之外，这三种方法目前都只被用以特定的神经网络之上，并得到单个的轻量级模型，并不具备在多数现有图像超分辨率网络上进行泛化的能力。我们所提出的方法，既可以在网络初始化阶段就定义出网络结构(避免了剪枝过程的计算开销)，同时不影响原网络的推理速度，并且可以十分便捷地直接部署在大多数图像超分辨率网络之上。

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的主要目的在于克服上述背景技术的缺陷，提供一种图像超分辨率神经网络参数效率提升的方法。

为实现上述目的，本发明采用以下技术方案：

一种图像超分辨率神经网络参数效率提升的方法，包括如下步骤：

S1、建立神经网络的卷积层和图结构的映射关系；

S2、通过随机图生成器生成不同的图结构；

S3、在随机图中选用合适的结构点以指导网络卷积层结构的稀疏化过程；

S4、将选取的图结构映射回神经网络的卷积层之中；

S5、使用同样的图结构进行映射，应用至图像超分辨率神经网络的所有中间层中；网络的每一层都保持同样的子结构；

S6、将图像超分辨率网络的通道数进行扩大；优选地，将图像超分辨率网络的通道数进行扩大至1.5倍-2.5倍；

S7、进行模型的训练。

进一步地：