[发明专利]一种基于卷积神经网络的单帧图像连续尺度超分辨率方法

说明书

本发明涉及一种基于卷积神经网络的单帧图像连续尺度超分辨率方法。首先，输入待超分辨率的低分辨率图像和放大尺度因子t；其次，根据输入的放大尺度因子确定其对应的最优整数放大尺度因子s，利用双三次插值算法将输入的低分辨率图像放大s倍；再而，利用现有的基于卷积神经网络的超分辨率算法的网络模型，放大图像进行特征提取及重建，得到放大了s倍的高分辨率图像；最后，对得到的高分辨率图像，使用双三次插值缩放至目标分辨率，得到最终的放大了t倍的高分辨率图像。本发明能够有效地提高已有基于卷积神经网络的超分辨率算法在连续放大尺度超分辨率上的性能，可应用于图像处理、计算机视觉等领域。

技术领域

本发明涉及图像和视频处理以及计算机视觉技术领域，具体涉及一种基于卷积神经网络的单帧图像连续尺度超分辨率方法。

背景技术

单帧图像超分辨率技术的目的是将一幅低分辨率输入图像重建成对应的高分辨率图像。作为多媒体图像处理领域的一个经典课题，单帧图像超分辨率重建问题本质上是不适定的，并没有唯一解。单帧图像超分辨率重建属于低水平计算机视觉处理任务，为压缩图像、视频增强、图像分析等提供服务。

卷积神经网络已经在单帧图像离散放大尺度超分辨率重建上取得了优越的性能，如SRCNN方法在放大尺度为整数时，重建结果的PSNR值相对于传统的双三次插值至少提升了3dB。由于残差块增强了特征的反向传递并可以避免梯度消失问题，从而在计算机视觉任务中表现出优异的性能。因此VDSR,DRRN等近两年提出的超分辨率网络都相继了采用残差块，其中，VDSR在输入的低分辨率图像和输出的高分辨率重建图像之间进行了一次残差学习，使用可调节的梯度截断策略，训练出一个鲁棒的超分辨率重建模型。DRRN则是将通过建立由多个残差单元堆栈而成的递归模块结构，将递归学习引入残差分支，递归使用残差单元进行运算，递归模块共享权重，而能够在加深结构深度的同时又避免了梯度爆炸或者梯度消失，因此超分辨率性能有所提升。MemNet引入了一个包含递归单元和门控单元的内存块，通过适应性学习来显性地挖掘持续记忆，构成区别于之前短期记忆网络的长期记忆网络，通过利用这样的结构将网络再次加深至80层，密集连接和信息补偿机制最大限度地使信息在不同内存块之间流动。但是这些基于卷积神经网络的超分辨率重建算法都只关注离散的整数放大尺度重建问题。如SRCNN,VDSR,DRRN,MemNet中参与训练的图像的放大倍数为2,3，和4。因此这些模型在非整数倍放大尺度上的超分辨性能仍有待验证。

发明内容

本发明的目的在于提供一种基于卷积神经网络的单帧图像连续尺度超分辨率方法，通过以整数尺度超分辨率重建为中心的多次缩放方法，从而实现基于卷积神经网络的连续尺度超分辨率重建。

为实现上述目的，本发明的技术方案是：一种基于卷积神经网络的单帧图像连续尺度超分辨率方法，包括如下步骤：

步骤S1、输入待超分辨率的低分辨率图像和放大尺度因子t，低分辨率图像的大小为h×w；

步骤S2、根据输入的放大尺度因子t确定其对应的最优整数放大尺度因子s，利用双三次插值算法将输入的低分辨率图像放大s倍，得到放大图像；

步骤S3、利用基于卷积神经网络的超分辨率算法的网络模型，对由步骤S2得到的放大图像进行特征提取及重建，得到放大s倍的高分辨率图像；

步骤S4、对由步骤S3得到的高分辨率图像，使用双三次插值缩放至目标分辨率，最终得到的放大t倍的高分辨率图像。

在本发明一实施例中，所述步骤S2具体实现如下：

首先，将适用于基于卷积神经网络的放大尺度因子构成整数尺度集合P＝{p₁,p₂,...,p_n}；

然后，从中选择最接近t的放大尺度因子作为最优整数放大尺度因子s，即最优整数放大尺度因子s计算公式如下：