[发明专利]基于浅层和深层卷积神经网络的图像超分辨率重建算法

说明书

技术领域

本发明属于图像处理领域，涉及深度学习中卷积神经网络的优化，尤其对浅层深层网络相结合的改进。

背景技术

卷积神经网络(ConvolutionalNeural Networks，CNN)在各种计算机视觉领域呈现出优异的性能，如图像分类、目标检测、语义分割和动作识别等。在很多领域中，我们都对高画质的图像有所需求。单帧图像的超分辨率(Single Image SuperResolution，SISR)重建是指对已知单幅低分辨率的图像重构出具有更高像素密度、更细腻的画质和包含更多细节的高分辨率图像，从而满足较高画面质量的需求。图像超分辨率重建技术在视频监控、医学成像、遥感卫星成像等各个领域有着广泛的应用。然而由于根据有限的输入信息重构出更多信息图像的过程是一个典型的病态反过程，图像超分辨率重建始终是一个极具挑战的任务。

早期的SISR方法基于插值技术，如最近邻插值、双线性插值、双三次插值、样条插值、分形插值和Lanczos重采样，该技术比较简单，易于实现。但是会因放大因子的增大而出现立即下降的情况。1993年，M.Irani等人提出了迭代反投影法(Iterative Back-Projection IBP)。该算法不但计算量小，而且收敛快。1995年，Schulte和Stevenson提出了最大后验概率方法(Application ofMaximum a Posteriori，MAP)，重建图像质量得以提升。根据集投影理论，之后改进的凸集投影法(Projection onto ConvexSets，POCS)，速度获得了进一步地提升。Elad和FeuerM等人在Schulte和Stevenson的基础上，发展出了一种通用的最大似然估计和凸集投影混合的超分辨率算法。该方法集合了两者自身的优点，不但能稳定的收敛，还充分利用了先验知识。

之后，基于学习方法被广泛应用于超分辨率恢复。基本思想为获取低分辨率图像块和高分辨率块之间的共同的先验知识，并建立两者之间的映射模型。2004年Chang等人提出了邻居嵌入和局部线性嵌入(NE+LLE)的超分辨重建方法，将低分辨率图像块的空间局部几何映射到高分辨率当中，再用映射产生的邻域的线性组合来生成高分辨图像块。2010年，Yang等人基于稀疏表达(Spare Coding，SC)提出了新的超分辨率重建的方法，从高分辨率信号之间的低维投影可以精准地恢复它们的线性关系。所以，通过学习一种简洁的图像块对表达方式去去获取对应的高、低分辨率图像块之间共同的先验知识，而不是从图像中直接提取它们的图像块对。后来，Zeyde等人对此方法做了些许改进：用K-SVD法训练低分辨率字典，对高分辨率字典直接采用伪逆的方法；并且通过主成分分析技术和正交匹配追踪算法进行降维。基于稀疏编码的网络(SCN)相比于通用SC模型实现显着的改进，SCN的级联(CSCN)也受益于具有特殊设计的多尺度成本函数的深度网络的端到端训练。但大多数人依靠手工设计表征LR图像的特征。

传统重建技术恢复图像的速度是缓慢的，该技术主要包含三个步骤：预处理、配准和重建。它们中的大多数是计算复杂度高，不能实现端到端直接放大。其中，Dong et al.提出了基于卷积神经网络的超分辨率重建(Learning a Deep Convolutional Network for Image Super-Resolution)，成功地将深度学习技术引用到SR领域中，该算法简称为SRCNN。其主要特征是学习插值后LR与HR图像块之间的映射，相较于先前的学习算法省去了很多的预处理及后期整合。但SRCNN仍有一些局限性。第一，该网络学习到的特征少且单一。第二，作为一个预处理步骤，原LR图像需要上采样到目标图像的大小做为网络的输入。第三，在大的图像处理速度上还需提高。

发明内容

为了降低恶意节点对网络的影响、提高网络安全性，本发明提出了一种基于浅层和深层卷积神经网络的图像超分辨率重建算法，结合浅层和深层卷积神经网络算法(Shallow and Deep Convolutional Networks for Image Super-Resolution，简称SDSR)，旨在通过将浅层和深层的卷积神经网络(Convolutional Neural Networks，CNN)相结合提取低分辨率样例图像块和高分辨率样例图像块的图像特征，然后学习它们之间的非线性映射关系，用反卷积层实现上采样，从而还原出高分辨率图像。

本发明提出了一种基于浅层和深层卷积神经网络的图像超分辨率重建算法，该方法包括以下步骤：