[发明专利]一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法

权利要求书

1.一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于：包括步骤以下步骤：

步骤一，图像采集：对原始脉冲涡流热成像图像进行采集，进行图像预处理，采集的图像组作为监督学习标签的高分辨率图像；

步骤二，低分辨率图像：将该组高分辨率图像进行0.25倍的降采样，使得图像缩小为原始图像的1/16，即图像的长和宽均为原图的0.25倍，降采样之后的图像组作为输入低分辨率图像，低分辨率图像与高分辨率图像是一组对应标签；

步骤三，ESRGAN网络训练：将脉冲涡流热成像图像的低分辨率图像和高分辨率图像输入ESRGAN网络中进行训练，ESRGAN为增强型GAN网络应用于单图像超分辨率重建，ESRGAN网络具有GAN网络中生成器与判别器相互对抗学习的特点，使得生成器重建的高分辨率图像越接近真实的高分辨率图像，判别器训练更好的区别真实图像与伪图像；ESRGAN网络输入为脉冲涡流低分辨率图像，监督标签为高分辨率图像，损失函数为感知内容损失函数，经过多次迭代，重建出初始高分辨率图像；

步骤四，梯度转换网络模块搭建与训练：融合重建网络中梯度转换网络模块包括两个部分：梯度提取层与梯度超分辨率重建层，当输入低分辨率图像时，梯度提取层对图像进行梯度提取，获得两个低分辨率梯度特征向量，包括水平和垂直梯度特征；然后通过水平方向和垂直方向各占50％的比例将两个特征向量融合成一张低分辨率梯度图像作为梯度超分辨率重建层的输入图像，同样进行梯度提取层及水平方向和垂直方向融合的高分辨率梯度图像作为梯度超分辨率重建层的监督图像；经过多次迭代优化梯度超分辨率重建层，使得该模块能根据一张低分辨率梯度图像重建出高分辨率梯度图像；

步骤五，融合网络模块搭建与训练：融合网络主要功能是融合ESRGAN网络生成的初始高分辨率图像与梯度转换网络模块重建的高分辨率梯度图像；融合层的第一层是连接层，连接初始高分辨率图像与高分辨率梯度图像；第二层为调节层，负责调节初始高分辨率图像与高分辨率梯度图像的维数，因为在转换过程中二者的维数可能不相等，因此需要调节层对两张图像的维数进行调节，以便图像特征的融合；最后的一层为图像重建层，主要的作用就是对两张图像进行超分辨率融合重建，获取最终的高分辨率图像；

融合网络模块输入的图像包含ESRGAN重建的初始高分辨率图像和梯度转换网络模块重建的高分辨率梯度图像，采集的高分辨率图像作为融合图像重建网络的监督标签；经过网络的训练，该网络能很好的将初始高分辨率图像与高分辨率梯度图像融合，获得具有高频信息的最终高分辨率图像；

步骤六，模型测试：输入测试的低分辨率图像，调用步骤三训练好的ESRGAN模型重建初始高分辨率图像，调用步骤四的梯度转换网络模块生成高分辨率梯度图像，最后将初始高分辨率图像与高分辨率梯度图像输入步骤五的融合模块重建出最终的高分辨率图像。

2.根据权利要求1所述的一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，步骤一所述的图像预处理，包括对图像集进行筛选、有效成分的提取；对脉冲涡流图像集进行筛选，去除模糊不清的图像、对部分包含无关背景的图像进行裁剪，保留清晰且有效的图像；对筛选后的图像集进行主成分提取，提取出三个主成分，并对第二主成分进行灰度转换。

3.根据权利要求1所述的一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，步骤四所述的梯度转换网络模块，主要作用在于重建低分辨率未有的高频信息，为了细节信息的真实性，使用均方差作为网络的损失函数，其表达式如下式所示：

其中，表示低分辨率图像块的梯度信息，表示高分辨率图像块的梯度信息，n表示其代表的图像块序列，为带有网络参数θ的的梯度转换；

梯度转换网络模块输入低分辨率图像，经过梯度提取层输出的低分辨率梯度图像作为梯度超分辨率重建层的输入信息；原始的高分辨率图像也经过梯度提取层输出高分辨率梯度图像作为梯度重建层的监督信息；损失函数为均方差，经过多次迭代，梯度转换网络模块能够重建出高分辨率梯度图像。

4.根据权利要求1所述的一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法，其特征在于，步骤五所述的融合网络模块，根据初始高分辨率图像和高分辨率梯度图像重建出最终的高分辨率图像，融合网络的损失函数可以表示为：

其中，表示序列数为n的初始分辨率图像块，表示序列数为n的高分辨率梯度图像块，表示带有网络参数θ_F的梯度转换，表示序列数为n的作为监督图像的高分辨率图像。