[发明专利]一种融合双重注意力机制的弱监督图像去雨系统与方法

权利要求书

1.一种融合双重注意力机制的弱监督图像去雨系统，由摄像头单元(1)、图像处理单元(2)和显示单元(3)组成，其特征在于，所述摄像头单元(1)以有线或无线的方式与图像处理单元(2)连接；所述图像处理单元(2)以有线或无线的方式与显示单元(3)连接。

2.根据权利要求1所述的融合双重注意力机制的弱监督图像去雨系统，其特征在于，所述图像处理单元(2)由数据接收模块(4)、样本集构建模块(5)、样本集预处理模块(6)、图像去雨网络构建模块(7)、图像去雨模型训练模块(8)、图像去雨处理模块(9)和数据发送模块(10)组成，所述数据接收模块(4)以有线的方式与样本集构建模块(5)连接，所述样本集构建模块(5)以有线的方式与样本集预处理模块(6)连接，所述样本集预处理模块(6)以有线的方式与图像去雨模型训练模块(8)和图像去雨处理模块(9)连接，所述图像去雨网络构建模块(7)以有线的方式与图像去雨模型训练模块(8)连接，所述图像去雨模型训练模块(8)以有线的方式与图像去雨处理模块(9)连接，所述图像去雨处理模块(9)以有线的方式与数据发送模块(10)连接。

3.一种融合双重注意力机制的弱监督图像去雨方法，采用权利要求1所述融合双重注意力机制的弱监督图像去雨系统进行操作，其特征在于，操作步骤包括图像处理单元弱监督图像去雨流程；所述图像处理单元弱监督图像去雨流程：

S1，使用数据接收模块(4)接收摄像头单元(1)传来的图像数据，并向样本集构建模块(5)发送，构建训练样本集、测试样本集，获取待复原有雨图像；

S2，样本集预处理模块(6)对训练样本集、测试样本集、待复原有雨图像进行预处理操作；

S3，图像去雨网络构建模块(7)基于循环生成对抗网络，引入通道和空间双重注意力机制，构建融合双重注意力机制的弱监督图像去雨网络；

S4，图像去雨模型训练模块(8)使用预处理后的训练样本集对上述网络进行训练，输入为未配对的有雨图像和无雨图像，利用混合损失函数对网络进行约束，使用测试样本集进行推理测试，获得融合双重注意力机制的弱监督图像去雨模型；

S5，图像去雨处理模块(9)将待复原有雨图像直接输入至上述模型中，生成去雨图像；

S6，数据发送模块(10)将最终生成的去雨图像发送至显示单元(3)，实现图像去雨。

4.根据权利要求3所述的融合双重注意力机制的弱监督图像去雨方法，其特征在于，所述步骤S3包括图像去雨网络构建流程；所述图像去雨网络构建流程：

S31，基于循环生成对抗网络基本架构，设计构建弱监督图像去雨网络，使用自编码器架构实现两个生成器，使用马尔可夫判别器实现两个判别器；

S32，在两个生成器的编码器中引入通道注意力机制，设计构建通道注意力块及通道注意力残差块，用于特征提取；

S33，在两个生成器的解码器中引入空间注意力机制，设计构建空间注意力块及多分支注意生成子网络，用于突出含雨区域和背景区域。

5.根据权利要求4所述的融合双重注意力机制的弱监督图像去雨方法，其特征在于，所述步骤S32包括通道注意力残差块构建流程；所述通道注意力残差块构建流程：

S321，构建通道注意力块：使用一个2维离散余弦变换，两个全连接层，一个Sigmoid函数获得通道注意力；使用乘法，与输入特征相乘后获得输出特征；

S322，将通道注意力块与残差块组合，构建通道注意力残差块。

6.根据权利要求4所述的融合双重注意力机制的弱监督图像去雨方法，其特征在于，所述步骤S33包括多分支注意生成子网络构建流程；所述多分支注意生成子网络构建流程：

S331，构建空间注意力块：使用一个池化层，一个3×3卷积层，一个Sigmoid函数，获得空间注意力；使用乘法，与输入特征相乘后获得输出特征；

S332，构建分支一：使用一个空间注意力模块、一个1×1卷积层，用于生成多通道的含雨特征；

S333，构建分支二：使用一个1×1卷积层，用于生成单通道的背景特征；

S334，构建分支三：使用一个7×7卷积层，一个tanh激活函数层，用于生成图像内容特征；

S335，将含雨特征和背景特征拼接，使用softmax函数生成含雨注意、背景注意；

S336，使用乘法，将含雨注意与图像内容特征相乘，生成含雨注意图；将背景特征与输入的有雨图像相乘，生成背景注意图；

S337，使用加法，将含雨注意图与背景注意图相加，生成去雨图像。