[发明专利]一种多阶段渐进式图像超分辨率方法

说明书

本发明公开了一种多阶段渐进式图像超分辨率方法，包括：使用多尺度特征提取模块提取待重建的图像特征，并引入通道注意力模块，对不同通道特征赋予权重，从而增强重要通道特征的表现能力；采用残差特征融合机制，充分利用图像上下文特征的关联性，得到第一阶段中的重建图像；使用精细化模块，对第一阶段中得到的重建图像进行优化，从而得到更为精细的重建图像；采用损失函数进行训练，进一步提升模型的超分辨率效果。本发明方法有效提高了图像超分辨率重建的效果，在主观视觉和客观评价指标方面都获得了更好的效果。

技术领域

本发明涉及一种基于深度学习的图像超分辨率方法，特别是涉及一种多阶段渐进式图像超分辨率方法。

背景技术

图像超分辨率重建是计算机视觉领域内的关键技术之一，其目的在于从现有的一幅或多幅低分辨率(Low-Resolution，LR)图像中重建具有更多细节的高分辨率(High-Resolution，HR)图像。在许多领域都有广泛的应用价值，如医学成像、视频监控、遥感图像等。由于空间分辨率越高意味着图像的细节越丰富，所要表达的信息能力就越强，从而有利于后续的图像处理、分析和理解。然而在实际成像过程中，往往由于存在大气抖动、光学模糊、运动模糊、欠采样和噪声等退化因素，导致成像系统获得的图像与真实图像之间不可避免地存在偏差，且不能满足高分辨率的需求。因此，如何基于已有的成像器件及当前的观测图像，尽可能地恢复图像本来面貌或进一步提高图像的分辨率和清晰度，一直是图像科学研究和工程应用中的热点问题。与传统的基于插值、基于重建和基于浅层学习的方法相比，基于深度学习的图像超分辨率重建方法在重建效果上有了极大的提高。

发明内容

有鉴于此，本发明的目的在于提供一种多阶段渐进式图像超分辨率方法，克服现有图像超分辨率方法中图像上下文特征之间关联性缺失问题及重建图像自身高频特征被忽略的问题，从而提高图像超分辨率的重建效果。

为了达成上述目的，本发明的解决方案是：提出一种多阶段渐进式图像超分辨率方法，该方法包括以下步骤：

步骤1、使用多尺度特征提取模块对特征进行提取：

(1)多尺度特征提取模块

本发明设计的多尺度特征提取模块(Multi-Scale Feature Extraction Block，MSFEB)包含5个基础特征提取(Basic Feature Exaction，BFE)模块和一个通道注意力(Channel Attention，CA)模块，其中，每个BFE模块与对应的跳跃连接(权重值为λ)共同组成一个子残差块，从而有效增强上下文特征之间的关联性。为了适应不同网络的特征，本发明进一步提出了两种不同的MSFEB结构(MSFEB-I与MSFEB-II)，其BFE模块分别使用由Inception构成的残差模块(Residual Inception Block，RIB)与由感受野组成的残差模块(Residual of Receptive Field Block，RRFB)。

假设F_d-1为第d个MSFEB的输入，则第d个MSFEB的第1个子残差块的输出F_d,1、第d个MSFEB的第B个子残差块的输出F_d,B，与第d个MSFEB的输出F_d可以分别通过以下公式来表示：

其中，H_BFE(·)与H_CA(·)分别表示BFE模块与CA模块对应的操作；λ_(·)表示权重值。

(2)RIB与RRFB模块