[发明专利]一种基于上下文相关多任务深度学习的图像超分辨算法

说明书

本发明提供一种基于上下文相关多任务深度学习的图像超分辨算法，该算法设计了三个深度神经网络，分别用于捕捉图像的基本信息、主要边缘信息和微小细节信息，然后在一个多任务学习的框架中对这些神经网络进行上下文相关连接与统一训练。给定输入的低分辨率图像，训练好的神经网络将分别输出基本图像、主要边缘图像和微小细节图像，最终的高分辨率图像由基本图像和微小细节图像融合而成；该算法可以仅用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。并且，所恢复出来的HR图像的结构得到了很好的保持，能尽可能多地恢复出理想HR图像中的结构信息。

技术领域

本发明涉及数字图像处理领域，更具体地，涉及一种基于上下文相关多任务深度学习的图像超分辨算法。

背景技术

图像超分辨是一种通过计算的方式让图像的分辨率得到提升的技术，可以广泛用于视频监控和医学影像分析等领域。单幅图像超分辨算法要解决的问题是，当输入只有单幅图像时，如何提升图像的分辨率。这个问题是图像处理领域中的一个基本问题，也是一个必要问题。

传统的解决方案可以划分为基于重建的算法、基于样例的方法和基于插值的方法。基于重建的方法是把高分辨率(HR)图像和低分辨率(LR)图像之间的关系用一个作用于全图的卷积核进行建模，在给的卷积核估计值的情况下通过求解逆问题得到清晰的HR图像。然而，这些方法通常会由于卷积核估计的不准确而造成HR图像中的环状瑕疵。基于样例的方法想通过引入图像自身或者外部图像中的图像块作为样例，实现了在高放大倍数情况下的图像超分辨。此类方法在图像恢复时需要利用图像块之间的相似信息，当LR图像中不存在足够的相似图像块时，极有可能会由于图像块的不相似而引入一些不必要的虚假细节。基于插值的方法通过精细设计的插值核函数来提升图像的分辨率。然而，无论是预先定义的核函数(例如双线性插值)还是自适应的核函数，都难以应对图像内容的多种变化。当图像的结构与核函数的定义不一致的时候，会造成图像结构的模糊。

近年来，由于深度学习在各种计算机视觉任务重的巨大成功，人们开始将深度神经网络用于图像超分辨问题中。一种常见的做法就是利用全卷积网络建立LR图像和HR图像之间的映射关系，以最小化网络输出图像和真实的HR图像之间的均方误差为目标来训练神经网络。此类方法虽然在图像超分辨的质量上获得了较大的提升，但是也会产生一些结构不一致的瑕疵。其主要原因是以均方误差最小化为代价函数的神经网络难以捕捉人类视觉系统中更敏感的结构变化。近期的图像超分辨算法试图通过引入基于特征的感知误差函数来缓解这一问题，然而此类方法虽然在超分辨图像上得到了更高的视觉感知质量，但是也会引入一些不真实的图像细节。

发明内容

本发明提供一种基于上下文相关多任务深度学习的图像超分辨算法，该算法可实现用静态低分辨率(LR)图像为输入，恢复出高分辨率(HR)的图像。

为了达到上述技术效果，本发明的技术方案如下：

一种基于上下文相关多任务深度学习的图像超分辨算法，包括以下步骤：

S1：收集图像数据；

S2：建立神经网络模型；

S3：利用收集图像数据对所建立的神经网络模型进行训练；

S4：将训练好的神经网络处理静态低分辨率图像即得到高分辨率的图像。

进一步地，所述步骤S1中收集的图像数据训练数据包括高分辨率的图像、该高分辨率的图像对应的边缘图像和其对应的静态低分辨率图像；其中，高分辨率的图像对应的边缘图像是二值图像，由边缘检测算法给出或由人工标记给出；边缘图像中值为0的像素表示非边缘，值为1的像素表示边缘。