[发明专利]一种基于深度学习的水下热扰动图像恢复方法

说明书

本发明公开了一种基于深度学习的水下热扰动图像恢复方法，包括以下步骤：S1、通过数据采集装置采集训练数据；S2、水下热扰动图像输入生成网络，生成无扭曲图像；S3、真实无扭曲图像、生成无扭曲图像输入判别网络，二者经过融合后输出判别结果。本发明中，首先，利用图像处理方法分析水下热干扰光学成像的主要误差影响，根据影响规律设计图像复原的网络模型，结合深度卷积神经网络强大的特征提取能力，构造热干扰图像到无干扰图像的非线性映射，最终实现水下热干扰图像的高精度复原，其次，基于单个生成器网络的扭曲图像恢复框架，端到端的直接恢复出无扭曲图片，引入注意力机制，提出新的网络框架，更好的恢复图像细节。

技术领域

本发明涉及水下热扰动图像复原技术领域，尤其涉及一种基于深度学习的水下热扰动图像恢复方法。

背景技术

光在水环境传播时会面临严重的吸收和散射效应，导致水下的图像细节模糊、对比度低等问题。尤其是，当水下环境存在不稳定热源，热源产生温度场与不均匀密度的水体环境相结合，导致成像路径中产生湍流现象，使得所采集的图像出现图形扭曲、离焦模糊以及颜色失真等一系列图像降质问题。

利用图像后处理的方法对水下降质图像进行复原处理，恢复图像细节，提升图像质量，一直是水下机器视觉领域的研究热点和难点问题，近年来水下热扰动扭曲图像的复原技术主要集中在三种方法上：幸运区融合、迭代配准和波形估计。

但是，首先，基于幸运区拼接、融合的算法易造成图像信息丢失，导致几何失真和模糊，基于迭代的图像配准算法往往时间复杂度较高，复原实时性无法得到保证，波形估计非常依赖水面波动模型的建立，模型过于简化则无法保证复原结果的准确性，模型过于复杂则会导致更高的时间复杂度。

其次，现有公开号为：CN112907464A，名称为“一种水下热扰动图像复原方法”的专利，以及现有公开号为：CN112907465A，名称为“一种基于深度学习的水下热扰动图像复原的系统及方法”的专利，均公开有水下热扰动图像的复原方法，但是，其对数据需要进行较多的预处理操作，数据处理速度较慢，其中，“一种水下热扰动图像复原方法”的专利中，卷积时的特征图padding为0，卷积之后的特征图尺寸会变小，存在多次卷积之后无法进行后续步骤的问题。

发明内容

为了解决上述背景技术中所提到的技术问题，而提出的一种基于深度学习的水下热扰动图像恢复方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于深度学习的水下热扰动图像恢复方法，包括以下步骤：

S1、通过数据采集装置采集训练数据，训练数据包括水下热扰动图像、真实无扭曲图像；

S2、水下热扰动图像输入生成网络，生成无扭曲图像；

S3、真实无扭曲图像、生成无扭曲图像输入判别网络，二者经过融合后输出判别结果。

作为上述技术方案的进一步描述：

所述步骤S2中，生成网络是基于U-net网络的改进模型，改进方式包括：在input后的卷积特征图添加注意力机制，并跳跃连接到output输出前的卷积层，通过注意力机制提高输入图像边缘细节恢复能力。

作为上述技术方案的进一步描述：

所述注意力机制对输入图像的处理步骤包括：

S21、通过sobel算子提取输入特征图图像中的轮廓信息；

S22、将图像降维为1维，并对1维图进行二值化；

S23、设置图像轮廓部分的高、低频信息；

S24、处理后图像与输入特征图图像进行像素级乘，加深图像轮廓信息。

作为上述技术方案的进一步描述：