[发明专利]一种基于场景深度的单图像去雨雾方法、设备及存储介质

权利要求书

1.一种基于场景深度的单图像去雨雾方法，其特征在于，包括：

构建去雨雾任务训练网络，所述去雨雾任务训练网络包括第一生成器、第二生成器及判别器，所述第一生成器输入为雨图，输出为单通道的场景深度图，所述场景深度图与雨图进行拼接后输入第二生成器，输出去雨雾图片；所述判别器用于判断生成的去雨雾图片与标签雨图是否一致；

获取训练样本，所述训练样本包括雨图，雨图对应场景深度图及干净无雨图；

对去雨雾任务训练网络进行训练，得到去雨雾生成模型。

2.根据权利要求1所述的单图像去雨雾方法，其特征在于，所述去雨雾任务训练网络采用生成对抗网络的模式构建。

3.根据权利要求1所述的单图像去雨雾方法，其特征在于，第一生成器及第二生成器均为U型网络结构。

4.根据权利要求1所述的单图像去雨雾方法，其特征在于，所述判别器包括八个卷积层及一个全连接层，采用sigmoid激活函数的单个神经元，得到一个0-1的值判断生成图片的真伪性，最后一个卷积层的输出也会用于构建损失函数。

5.根据权利要求3所述的单图像去雨雾方法，其特征在于，所述U型网络结构包括16层卷积块，其中六层为编码器，六层为解码器，四层为扩张卷积。

6.根据权利要求5所述的单图像去雨雾方法，其特征在于，四层扩张卷积的扩张率分别设置为2、4、8、16。

7.根据权利要求1-6任一项所述的单图像去雨雾方法，其特征在于，所述去雨雾任务训练网络的损失函数包括生成损失和对抗损失，具体为：

生成损失包括第一生成器中输出的深度图之间的误差损失，第二生成器中不同尺度空间下的特征图与对应尺度图片的像素级损失，以及输出图片和真实图片之间的感知损失；

感知损失为将输出图片和真实图片同时输入到一个预训练好的深度卷积神经网络，计算网络输出的特征图之间的误差损失；

对抗损失包括GAN生成对抗损失，以及在判别器中间特征图设计的注意力损失，所述注意力损失为：当判别器输入为生成图片时，计算最后一层卷积层的输出Oc与场景深度生成器的输出深度图depth之间的MSE损失；当判别器输入为干净背景图像时，计算特征图Oc与全O特征图之间的MSE损失，最后将上述所有损失函数加权融合，作为整个训练网络的损失函数，利用误差反向传播算法进行整体网络的训练。

8.根据权利要求7所述的单图像去雨雾方法，其特征在于，整个网络的训练损失函数L为：

L＝λ_mL_m+λ_pL_p+λ_aL_a+λ_dL_d

其中，L_a为判别器最后一层卷积层的输出涉及注意力损失，L_p为第二生成器的感知损失，Lm为多尺度损失，λ_m、λ_p、λ_a、λ_d分别是多尺度损失，感知损失，注意损失及对抗损失的权重。

9.一种设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的如权利要求1-8任一项所述的单图像去雨雾方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的所述的单图像去雨雾方法。