[发明专利]基于改进ESRGAN的图像超分辨重建方法

权利要求书

1.基于改进ESRGAN的图像超分辨重建方法，其特征在于，包括以下步骤：

步骤1：建立超分辨图像数据集；

步骤1.1：使用可见光摄像机随机拍摄若干张高分辨率图像I_HR；

步骤1.2：将步骤1.1获取的若干张高分辨率图像I_HR，经过退化处理得到相对应的低分辨率图像I_lR；

步骤1.3：将步骤1.1所述的高分辨率图像I_HR和步骤1.2退化处理得到的低分辨率图像I_LR构成总样本数据集，其中，步骤1.1所述的高分辨率图像I_HR做为网络的基准图像，步骤1.2退化处理得到的低分辨率图像I_LR作为训练的输入图像；且把总样本80％作为训练样本集，总样本20％作为测试集；

步骤2：构建基于改进ESRGAN的图像超分辨重建深度学习模型，具体包括以下步骤：

步骤2.1：构建基于改进ESRGAN的图像超分辨重建深度学习模型的生成器(G)网络，具体的：

步骤2.1.1：拓展生成器(G)网络中密集连接网络的厚度，提取目标图像在深层的细节特征；

步骤2.1.2：引入胶囊网络模块，用于建立图像三维之间的关系，反映更多的图像向量信息；

步骤2.1.3：引入注意力机制模块，用于加强网络特征提取过程中图像特征的提取；

步骤2.1.4：在生成器(G)网络的注意力机制模型之后增加一个卷积核为9*9，通道为3、步长为1的卷积层，生成器(G)网络最终输出I_sR图像；

步骤2.2：构建基于改进ESRGAN的图像超分辨重建深度学习模型的辨别器(D)网络，具体的包括以下步骤：

步骤2.2.1：拓展辨别器(D)网络中卷积层的厚度，卷积层由原来的6个增加到8个卷积层，进行有效的特征的提取；

步骤2.2.2：拓展全连接层厚度，全连接层由原来的2个增加到4个卷积层，从全连接层输出经过Sigmod函数得到预测自然图像的概率；

步骤3：采用步骤1所得到的训练样本集对改进ESRGAN的图像超分辨重建网络进行训练；

步骤3.1：设置学习率(I_r)、batch size、epoch训练参数；

步骤3.2：将步骤1.3的训练集送入步骤2中构建基于改进ESRGAN的图像超分辨重建深度学习模型；

步骤3.3：训练过程中优化生成器(G)的目标函数和辨别器(D)的目标函数，目标函数包括：损失函数和正则化项；其中网络模型的损失函数包括三部分：内容损失、对抗损失和胶囊损失；

步骤3.4：根据评价指标峰值信噪比和结构相似性及损失函数的变化趋势，及时调整网络中的训练参数,直至训练趋于稳定的状态，确定最终的训练参数；

步骤3.5：根据步骤3.4确定的训练参数，完成模型设计，得到收敛良好的基于改进ESRGAN的超分辨图像模型；

步骤4：模型测试，将测试集中的低分辨率图像输入步骤3中训练好的网络中，输出相对应的超分辨率图像的重建图像；

步骤5：模型评估，根据步骤4的测试结果，从峰值信噪比、结构相似性训练的基于改进ESRGAN的超分辨图像重建模型进行评估；

步骤6：判断模型评估结果的峰值信噪比、结构相似性是否满足实际应用需求，若模型满足实际应用需求，则执行步骤8，否则，执行步骤7；

步骤7：修正步骤2构建的基于改进ESRGAN的图像超分辨重建深度学习模型的参数，并跳转至步骤3重新训练；

步骤8：将步骤6中满足实际应用需求的模型用于低分辨率图像的恢复。

2.根据权力要求1所述的一种基于改进ESRGAN的图像超分辨重建方法，其特征在于：步骤1.2所述的退化处理所用的退化函数如公式(1)所示；

式中：y为低分辨率图像；x为y相对应的高分辨率图像；k表示模糊核；指高分辨图像与模糊核之间的卷积操作；↓_s表示放缩尺度为s的下采样；n为加性白噪声。