[发明专利]一种基于浅层通道分离与聚合的单图像超分辨率重建方法

说明书

本发明公开一种基于浅层通道分离与聚合的单图像超分辨率重建方法，属于超分辨率图像重建领域。首先对数据进行预处理得到高分辨率图片和低分辨率图片；然后构建并训练基于浅层通道分离与聚合的单图像超分辨率重建网络，包括通道分离与聚合模块和全局特征聚合模块；通道分离与聚合模块用于对浅层图片信息的特征提取，能更好的获得图片的细节和纹理信息；全局特征聚合模块用于聚合通道分离与聚合模块所得的特征信息，更好的获得全局信息。本发明方法有利于学习深浅特征模式的关系，从而恢复更多的细粒度信息，与大型重量级网络相比，在计算资源和性能之间达到了较好的均衡。

技术领域

本发明属于图像处理技术领域，涉及基于深度学习的单张图像超分辨重建方法，特别涉及基于通道分离与聚合的单图像超分辨重建方法。

背景技术

视觉信息具有直观高效的描述能力，在人类社会中扮演着重要的角色。图像中包含了大量的视觉信息，人们能从图像中获得所描述对象的相关信息，是重要的信息载体。一般来说，图像的分辨率越高，蕴含的细节会更多，而在很多领域中，如医学影像、视频监控等应用中，细节起到了非常关键作用。但由于硬件设备、自然环境、人为因素和其他因素的影响，成像系统采集的图像存在分辨率低、图像模糊等问题，无法满足高质量图像的需求。图像超分辨重建技术可以将采集的低质量图像重建成更清晰、分辨率更高、视觉效果更好的图像，从而提高图像的分辨率，恢复图像中的细节。近二十年来，图像超分辨重建一直是图像处理、计算机视觉和机器学习等领域的研究热点，广受工业界和学术界的关注。

传统超分辨率重建算法主要包括基于插值的超分辨率重建、基于退化模型的超分辨率重建、基于学习的超分辨率重建算法。基于插值的超分辨率重建是利用基函数或插值核来逼近损失的图像高频信息，从而实现超分辨率重建。常见基于插值的方法包括最近邻插值法、双线性插值法和双三次插值法。基于退化模型的超分辨率重建是假定高分辨率图片经过适当的运动变化、模糊、噪声得到的低分辨率图片，通过提取低分辨率图像中的关键信息，并结合对未知的超分辨图像的先验知识来约束超分辨率图像的生成。常见方法包括迭代反投射、凸集投影法和最大后验概率法等。基于学习的超分辨率重建是利用大量的训练数据，学习低分辨率图像和高分辨率图像之间某种对应关系，根据映射预测低分辨率图片所对应的高分辨率图片，从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码方法。

近年来，超分辨工作中，传统超分辨率重建方法不适用于放大倍数较大的超分辨率重建，基于深度学习的超分辨率重建算法是目前研究的主流方向，典型的网络结构有SRCNN、ESPCN、VDSR、DRCN和EDSR 等；单图像超分辨率领域中首次使用卷积神经网络(CNN)的是Dong提出的SRCNN。与传统算法相比，SRCNN 增加了细节特征，明显地提升了视觉效果。ESPCN提出了一种新的上采样方式，通过通道扩增和像素点重排来实现的图像放大。VDSR该算法使用了20个卷积层来提取输入图像的特征，并引入残差学习以保证细节特征可以长距离的保留。另一种深度递归卷积网络DRCN每一层都采用监督式递归层，通过不断循环递归层来获取高频信息，并采用跳跃连接结构减轻了网络的梯度消失。EDSR修改了残差块，将残差块中的归一化层给删除了，删除之后网络的参数降低了40％，2×的效果增加了0.48db。上述基于深度学习的网络结构，随着层数的增多，不仅能从数据中提取多层级特征，还能进行端到端的联合优化和重建，因而具有更强的表征能力。目前大部分超分辨率网络虽然能取得相对较好的效果，但受模型参数多、计算量大等问题的影响，在计算能力有限、内存容量不足的情况下，基于深度学习方法的超分辨率重建很难应用到实际场景中。

发明内容

本发明提出了一种基于浅层通道分离与聚合的单图像超分辨率重建方法，主要应用于图像处理领域，主要优点是能够在参数、内存使用和计算量中达到平衡，实现性能最优。通过对通道的分离与聚合，提取特征并增加信息的获取，从而实现更好的效果。

一种基于浅层通道分离与聚合的单图像超分辨率重建方法，步骤如下：

步骤(1)训练数据集处理；