[发明专利]一种基于注意力对抗生成网络的无监督图像除雨方法

权利要求书

1.一种基于注意力对抗生成网络的无监督图像除雨方法，其特征在于，按以下步骤进行图像处理：

步骤1、构建数据集：收集具有信息相关性的类似场景雨图和清晰图片作为网络训练数据集，并对所有图片做预处理；

步骤2、搭建卷积神经网络：构建的卷积神经网络包括三个子网络：生成器G、生成器F，判别器D；生成器G输入源域无雨图片x和目标域非对应有雨图像r，输出生成目标域有雨图片G(x，r)；生成器F输入是生成器G生成的有雨图片G(x，r)和源域无雨图像x，输出生成的源域无雨图片F(G(x，r)，x)；生成器F的生成过程是源域图片x的重建过程，设计生成器F的重构损失使F(G(x，r)，x′)和源域图片x相似，这样一张源域图片经过G变为目标域图片，目标域图片再经过F转换回源域图片；G和F为一个互逆的过程，一张图片依次经过G和F，图片保持不变；

步骤3、训练：训练判别器D，训练生成器G，训练生成器F；

步骤4、实际使用：训练完成后，将生成器F单独采用，完成输入有雨图像完成交叉验证与测试，得到处理完后无雨图像。

2.根据权利要求1所述的一种基于注意力对抗生成网络的无监督图像除雨方法，其特征在于，步骤2中生成器F详细参数如下：生成器F由两个子网络组成:注意力循环网络和语义自动编码器；

注意力循环网络详细参如下：将注意力循环网络的循环参数设定为5，每一次循环中包括残差网络、卷积长短期记忆网络两个部分，图像首先进入残差网络中，残差网络共有9层，第一层是32个具有3*3卷积核大小的滤波器，填充方式为SAME，对四维张量图做滑步为1的滑动卷积提取特征，第一层卷积后接Leaky-relu激活函数层。之后的八层同样是32个具有3*3卷积核大小的滤波器，填充方式为SAME，滑步为1的卷积层和Leaky-relu激活函数层；每两层做一次同等映射。随后将卷积后的特征图输入到卷积长短期记忆网络中；卷积长短期记忆网络包含一个输入门一个输入门i_t，一个遗忘门f_t，一个输出门o_t和一个细胞状态C_t组成。他们在时间维度上的相互关系如下：

其中X_t是由残差网络产生的特征图；C_t对上一个细胞状态编码输入到下一个卷积长短期网络中；H_t代表的是卷积长短期记忆网络的输出；代表的是卷积操作；最后经过卷积长短期网络输出的特征图；

语义自编码器详细参数如下：语义自编码器由上采样与下采样两部分构成；上采样首先经过四层卷积核为3*3，步长为2的卷积层，滤波器的个数分别为64，128，256，填充方式为SAME，每一层都接Leaky-Relu激活函数层并做实例归一化的处理。然后经过三层具有256个卷积核为3*3滤波器的空洞卷积，扩张率分别为2，4，8，16。空洞卷积在不通过池化层；不降低分辨率，不引入额外的参数与计算量的情况下增大感受野。之后再经过两层具有256个卷积核为3*3滤波器的卷积层；下采样包换2个反卷积层，第一层为128个卷积核为4*4的滤波器做步长为1/2的分步卷积，接着一层平均池化层，并做实例归一化的处理；然后将上采样第二层输出与此层输出合并成下一层输入。第二层为64个卷积核为4*4的滤波器做步长为1/2的分步卷积，随后接一层平均化层并做实例归一化；然后将上采样第一层输出与此层输出合并成下一层输入；在经历完上下采样后最后通过一个具有3个3*3卷积核的滤波器，且步长为1的卷积层作为F生成器的输出。

3.根据权利要求1所述的一种基于注意力对抗生成网络的无监督图像除雨方法，其特征在于，步骤2中生成器G的详细参数如下：生成器G与F的差异体现在注意力机制，生成器G的输入是源域无雨图像和并非相对应的目标域有雨图像，为生成器G与判别器D提供成对的数据集，使整个除雨网络实现无监督学习；相较于生成器F生成器G去除了卷积长短期记忆网络，也去除了注意力机制。

4.根据权利要求1所述的一种基于注意力对抗生成网络的无监督图像除雨方法，其特征在于，判别器D的详细参数如下：首先是7个卷积层，每个卷积层卷积核模板大小都为5*5，步长都为1，激活函数都为Leakey-ReLU，从最后三个卷积层提取特征并进行对应元素相乘生成注意力图。