[发明专利]一种基于多尺度生成对抗网络的图像超分辨率重建方法

说明书

本发明公开了一种基于多尺度生成对抗网络的图像超分辨率重建方法，采用多尺度SENet模块作为生成器，最终形成多尺度生成对抗网络；然后确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；通过建立的多尺度生成对抗网络实现对LR输入图像的高频信息的特征提取，随后与经过双三次插值的输入的结果重构出HR图像，鉴别器来鉴别重构后输入的真伪，同时将重构的均方差损失与对抗损失进行加权，作为最终的调整目标函数，通过目标函数对输出的HR图像进行调整后，完成整个图像的重建过程。本发明能对LR输入图像的高频信息细节进行更多的提取，从而使图像超分辨率重建后生成显示效果更好的HR图像。

技术领域

本发明涉及是一种基于多尺度生成对抗网络的图像超分辨率重建方法。

背景技术

图像超分辨率(Single image super-resolution，SISR)重建任务是指从低分辨率(Low-resolution，LR)图像输入学习出更多的图像细节来生成高分辨(High-resolution，HR)图像。由于HR的图像能够学习原始图像重要的细节信息，因此SISR技术应用广泛，包括视频监督、医疗诊断、人脸识别等。传统的图像超分辨率方法主要是插值算法，如双三次插值，近邻插值，通过采用固定或结构适应的核函数来估计SR图像中未知像素的值。尽管插值算法比较效率较高，但所得到的结果模糊，边缘细节比较平滑。

近几年，卷积神经网络(CNN)在图像识别中展现出极大的优势。基于深度卷积的方法在SISR取得了突破性的进展，在超分辨率(Super-resolution，SR)问题中峰值信噪比(peak signal-to-noise ratio，PSNR)指标的提升尤为突出。一些学者提出了基于深度卷积超分辨率方法，该方法主要分为三个阶段，LR输入图像的特征提取，非线性映射，重构HR图像。随后发展成将深度残差网络模块引入到深度卷积结构中，在SR上的表现进一步提升。然后还有使用多尺度残差模块来提取LR图像更加抽象的细节，学习细微的高频信息，在SR问题中的结构相似性(structural similaritymetric，SSIM)指标表现有一定的提升。

生成对抗网络是基于对抗思想的生成式深度学习算法，能够生成较为逼真的图像，在图像修复和生成方面表现较好。目前提出了感知损失加权的生成对抗网络的图像超分辨率方法，该方法能够学习到LR图像的更多细节，在结构相似性指标中取得了较好的表现。另外还有利用风格迁移中训练好的分类模型构建出感知损失，将感知损失与对抗损失作为模型训练最后的目标。、

但是上述这些方法对低分辨率输入图像的高频信息提取较差，从而对低分辨率输入图像进行图像超分辨率重建后其高频信息细节显示效果不好。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于多尺度生成对抗网络的图像超分辨率重建方法，能对低分辨率输入图像的高频信息细节进行更多的提取，从而使图像超分辨率重建后生成显示效果更好的高分辨率图像。

为了实现上述目的，本发明采用的技术方案是：一种基于多尺度生成对抗网络的图像超分辨率重建方法，具体步骤为：

(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：

A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet(压缩激活)模块组成；

B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；

(2)多尺度生成对抗网络对图像超分辨率重建：

Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR(低分辨率)图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；