[发明专利]基于改进ESRGAN的图像超分辨重建方法

说明书

本发明公开一种基于改进ESRGAN的图像超分辨重建的方法，其步骤为：建立超分辨图像数据集；构建基于改进ESRGAN的图像超分辨重建深度学习模型；训练改进ESRGAN的图像超分辨重建深度学习模型；测试模型的性能；评估模型；判断模型评估结果；修正基于改进ESRGAN的图像超分辨重建深度学习模型的参数；调用模型进行检测。本发明通过在ESRGAN的生成器（G）中加入胶囊网络，使其更能“理解”图像，表达能力较强，通过胶囊建立了图像三维之间的关系，输出的向量也可以反应图像状态。通过加入残差注意力机制，使模型生成的特征更具判别度，能持续提高模型的性能。

技术领域

本发明涉及图像超分辨技术领域，更进一步涉及一种基于改进ESRGAN的图像超分辨重建方法。本发明可用于低分辨率图像的恢复。

背景技术

图像超分辨率(Super-Resolution)重建技术是利用一组低质量、低分辨率图像(或运动序列)通过硬件或软件的方法来产生相对应的高质量、高分辨率图像。图像超分辨率重建应用领域较为宽广，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。超分辨率重建的技术手段大致可以分为以下三类：(1)基于插值的方法(2)基于重建的方法(3)基于学习的方法。基于插值的方法是先估计各帧图像之间的相对运动信息，获得高分辨率图像在非均匀间距采样点上的像素值，接着通过非均匀插值得到高分辨率图像栅格上的像素值，最后采用图像恢复技术来去除模糊和降低噪声。基于重建的方法是通过研究图像的高分辨率细节在低分辨率下的表现形式，建立两者之间的对应关系，并利用某种模型来刻画这种映射关系。基于学习的方法是采用大量的高分辨率图像构造学习库产生学习模型，再对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节，获得较好的图像恢复效果。

福州大学在其拥有的专利技术申请“基于精简ESRGAN的单图像超分辨率方法及系统”(专利申请号：202011178157.5，公开号：CN112288632A)中公开了一种基于精简ESRGAN的单图像超分辨率方法及系统，用于单图像超分辨率重建。该发明在单图像超分辨率生成对抗网络基于ESRGAN网络提出改进，将基本块即23个RRDB替换为16个SR-RESNET模块，并保持ESRGAN的高级体系结构；在训练时，采用相对平均判别器；采用双三次插值对得到的超分辨率图像进行处理，消除边缘锯齿效应和块效应。这种方法在上单图像低超分辨率上的恢复取得了一定的效果，但是距离实际应用还有一定的差距。

汪鑫耘、李丹在论文“生成式对抗网络在超分辨率图像重建中的应用”(计算机科学与探索2020年14卷4期第680页到687页)中提出了一种(PESRGAN)生成式对抗网络在超分辨率图像重建中的应用，在经典数据集上，平均峰值信噪比和平均结构相似性、客观参数和主观评价上均优于其他算法，论文在ESRGAN的基础上，对激活函数、基础网络结构和损失函数进行优化，以改进超分辨率重建算法。使用改进的Leaky ReLU可以避免某些神经元不激活任何数据而发生关闭现象。对评价指标及低分辨率图像有一定的提升，但整体准确率改进有限。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于改进ESRGAN的图像超分辨重建的方法。

本发明采用如下技术方案：

一种基于改进ESRGAN的图像超分辨重建的方法，包括以下步骤：

步骤1：建立超分辨图像数据集；

步骤1.1：使用可见光摄像机随机拍摄若干张高分辨率图像I_HR；

步骤1.2：将步骤1.1获取的若干张高分辨率图像I_HR，经过退化处理得到相对应的低分辨率图像I_lR；