[发明专利]一种基于场景深度的单图像去雨雾方法、设备及存储介质

说明书

本发明公开了一种基于场景深度的单图像去雨雾方法、设备及存储介质，包括：构建去雨雾任务训练网络，所述去雨雾任务训练网络包括第一生成器、第二生成器及判别器，所述第一生成器输入为雨图，输出为单通道的场景深度图，所述场景深度图与雨图进行拼接后输入第二生成器，输出去雨雾图片；所述判别器用于判断生成的去雨雾图片与标签雨图是否一致；获取训练样本，所述训练样本包括雨图，雨图对应场景深度图及干净无雨图；对去雨雾任务训练网络进行训练，得到去雨雾生成模型。本发明对雨水图片处理操作简单，只需要单张雨水图片，经过训练好的生成式网络前向传播就能得到去雨后的干净图片。

技术领域

本发明涉及计算机视觉和图像处理领域，具体涉及一种基于场景深度的单图像去雨雾方法、设备及存储介质。

背景技术

随着计算机视觉领域的不断发展，人们越来越广泛的应用到了摄像头进行现实场景的获取，人们使用智能手机进行外景的拍摄；户外视觉系统使用电子眼监控户外的具体情况；辅助驾驶系统利用摄像头获取的道路画面进行驾驶导航。但是，户外工作的摄像头难免会受到雨天等恶劣天气的影响，使获取的图片质量下降，包括拍摄的雨条纹将关键的目标信息遮挡，远处的雨水积累效应造成能见度下降等，因此要得到清晰的图像，需要对雨水图像进行去雨处理。

现实场景中拍摄的雨天图像雨水形式主要可分为雨条纹，雨滴，雨雾三种形式，过去的研究中大多研究者以雨条纹为主要对象进行去除。图像去雨的方法主要有基于传统的图像处理方法，将雨水看成一种加性噪声进行去噪处理，或者图像分解的方法。近年来随着计算机计算能力的不断提升以及深度学习的发展，使用卷积神经网络提取图像特征在图像恢复领域取得了巨大成功。越来越多研究者从传统图像处理方法转向深度学习的去雨方法研究上。

生成对抗式的网络是于2014年提出的一种模型训练方法，模型主要由生成器网络G和判别器网络D组成，训练网络参考了博弈论里的MinMax问题的思路，生成器不断训练生成逼近真实样本的样本以骗取判别器，判别器不断迭代训练来提高对真实样本和生成样本的辨别能力，经过不断迭代训练使两个模型的效果都有明显提升。

目前基于深度学习的图像去雨方法在针对单一样式的雨水上，许多方法已经在实验室阶段取得了较好的测试性能，对于合成的雨水图片都有很好的去除能力。然而现实场景中，拍摄的雨水图片常常伴随着不同形状，尺度，样式的雨水，最常见的便是是近处雨条纹形式叠加上远处雨雾的情况，现有的方法很多能去除近处明显的雨条纹而对远处的雨雾造成的低对比度情况无能为力，难以应付普遍而多样式的雨水情况。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于场景深度的单图像去雨雾方法、设备及存储介质。

本发明通过生成对抗式的学习得到性能较好的场景深度生成器和去雨背景生成器，网络利用两个生成器将一张雨图恢复出去雨图片。

为了解决上述技术问题，本发明采用如下技术方案：

一种基于场景深度的单图像去雨雾方法，包括：

构建去雨雾任务训练网络，所述去雨雾任务训练网络包括第一生成器、第二生成器及判别器，所述第一生成器输入为雨图，输出为单通道的场景深度图，所述场景深度图与雨图进行拼接后输入第二生成器，输出去雨雾图片；所述判别器用于判断生成的去雨雾图片与标签雨图是否一致；

获取训练样本，所述训练样本包括雨图，雨图对应场景深度图及干净无雨图；

对去雨雾任务训练网络进行训练，得到去雨雾生成模型。

进一步，所述去雨雾任务训练网络采用生成对抗网络的模式构建。

进一步，第一生成器及第二生成器均为U型网络结构。

进一步，所述判别器包括八个卷积层及一个全连接层，采用sigmoid激活函数的单个神经元，得到一个0-1的值判断生成图片的真伪性，最后一个卷积层的输出也会用于构建损失函数。