[发明专利]一种基于卷积神经网络的新型超分辨率重建方法

说明书

本发明公开了一种基于卷积神经网络的新型超分辨率重建方法，提出了一种基于自校准卷积和自适应密度连接(SCCADC‑SR)的新型的SR网络。首先，引入了自校准卷积作为基本卷积模块，并将其作为注意力机制的补充；其次，利用有效通道注意(ECA)去构造自适应密集连接结构来处理不同层次的特征；再次，使用CutBlur方法(图像超分辨率中的数据增强手段)对数据进行增强，提高模型的泛化能力；使用长跳跃连接去提高深度模型结构的收敛性；最后，SCCADC‑SR将自集成和模型集成相结合，以便去提高模型的鲁棒性，同时降低了噪声。实验结果表明，无论基于真实退化模型还是基于双三次方退化模型，本发明的SCCADC‑SR模型都优于目前最先进的图像重建方法。

技术领域

本发明属于数字图像增强技术领域，涉及到图像超分辨重建技术以及特征提取与模式识别技术。

背景技术

图像空间分辨率是图像质量评价关键性的一项指标，也是图像应用中举足轻重的一个参数，它表示景物信息的详细程度。然而，目前许多成像系统，如红外成像仪和CCD照相机等，在采集图像过程中，受其固有传感器阵列排列密度的限制，图像的分辨率不可能很高；同时欠采样效应又会造成图像的频谱交叠，使获取的图像因变形效应而发生降质。如果采用增加传感器阵列采样密度的办法来提高图像分辨率和消除变形效应，可能会付出昂贵的代价或者面临很难克服的技术困难。因此从软件方面着手来提高图像分辨率有着极大的现实意义和应用价值，解决这一问题的一个有效办法就是采用超分辨率(SuperResolution，SR)重建技术，即通过一序列低分辨率(Low Resolution，LR)变形图像来估计高分辨率(High Resolution，HR)的非变形图像。近年来，超分辨率重建技术已成为图像处理领域的一个研究热点，广泛应用于遥感、医学成像和军事等多个领域，并且取得了较为丰硕的成果。

基于学习的超分辨(example-based SR)重建研究的主要思想是，通过学习已有的高分辨率图像序列获取先验信息进而提高分辨率。在低分辨率图像序列的帧数较少以及分辨率提高倍数较大的情形下，低分辨率图像序列所能提供的互补性样本信息相对有限，不足以使超分辨率重建算法恢复更多的高频信息。这种情况下关于图像本身的先验知识就显得非常重要。除了传统MRF统计先验模型和正则空间几何图像模型能够提供图像的先验信息，另一种重要方法就是通过神经网络技术进行学习训练得到。

最近提出的SR方法主要是基于深度学习的方法。该类方法需要构建深度卷积网络模型，并采用大量图像来训练模型。通过从LR图像块与HR图像块中学习先验知识来进行重建。代表性方法如SRCNN、VDSR、EDSR等。

SRCNN是第一个将深度学习运用在SR上的方法。由Chao Dong于2014年提出该方法通过直接在输入插值过后的LR图像与相应HR图像之间学习一个端到端映射。2016年，Chao提出的FSRCNN中末端引入反卷积层，增加了卷积特征维数，使用原始LR图像进行重建。

Wenzhe Shi等人于2016年提出的ESPCN网络中引入了亚像素卷积层。它可以学习一系列的卷积特征，用于最终的重建层。在之后的大部分SR方法中都用到了这种方法。

JiaHui Yu等人提出的WDSR，改进了EDSR，增加残差块在激活函数前的卷积特征维数，减少激活函数后的卷积特征维数。并且在卷积中引入了WN(weight normalization)层。使用跳过连接来单独对输入LR图像进行亚像素卷积，与特征的亚像素层一起完成图像重建。

上述如WDSR，网络采用残差块来进行深度神经网络的搭建。每一个残差块都是在两个卷积层中加入激活函数，将第二个卷积的输出加上第一个卷积的输入，来作为残差块的输出，当网络深度增加时，重建效果提升不佳。

发明内容