[发明专利]一种基于优化算法结合残差网络的单幅图像除雨方法

说明书

一种基于优化算法结合残差网络的单幅图像除雨方法，属于计算机视觉应用技术领域。本方法使用交替方向乘子法ADMM求解雨天图像成像模型，并将残差网络和降噪算法嵌入ADMM框架中作为背景先验和雨先验进行迭代，将雨天拍摄的图像分成无雨清晰背景部分和雨迹部分。其中在残差网络中，使用合成雨图/清晰背景图像对作为训练集进行训练，用来描述图像背景先验。通过实验验证，使用嵌入残差网络的ADMM算法除雨结果的PSNR值高于其他除雨算法。另外，本发明也将其他已有的除雨算法嵌入ADMM除雨算法中作为背景先验迭代，得到的除雨效果也优于原算法本身的效果。

技术领域

本发明涉及计算机视觉领域，涉及一种基于优化算法结合残差网络的单幅图像除雨方法。

背景技术

在雨天，雨迹对于图像和视频的影响往往是不希望看见的，雨迹会严重影响很多室外计算机视觉应用的性能，譬如监控系统和自动驾驶系统。雨滴从摄像机镜头前掉落或者流下会对图像造成阻挡，畸变和模糊，远距离的雨滴持续性的从镜头前掉落也会降低能见度，它影响能见度的原理和雾对图像能见度影响的原理类似，光线被空气中的水散射出去，产生出带着面纱的效果。图像增强和追踪等很多计算机视觉应用都需要一个有效的图像除雨方法。然而，当图像背景中物体的结构和方向都和图像中雨迹相同时，就很难在除去雨迹的同时保留图像背景自身的物体结构。

现在已经有人提出了很多种方法来提升在有雨条件下拍摄照片的能见度，这些方法总体来说可以被分成两类：基于视频的图像除雨方法和基于单幅图像的除雨方法。

基于视频的图像除雨方法比较简单，由于视频在时间域上有许多像素点冗余，所以可以很简单的从视频中找到并去除雨的痕迹。早期的除雨方法都是一些视频片段的雨迹检测和去除的方法。这些检测方法都基于两个假设条件：第一，由于雨滴是动态的，他们在一小段连续帧间的像素值变化非常大。第二，由于画面中的其他物体也有可能是动态变化的，可以通过使用验证条状像素值变化是否和背景的像素值变化呈线性相关的方法将动态变换的物体和雨迹进行区分。第二条限制条件可以减少将视频帧中的其他动态变化物体误当作雨滴进行处理的情况。从视频帧中检测到雨滴之后，可以通过对视频帧前后连续帧中的相应位置像素值中取平均值来替代原来检测出为雨滴的点的像素值的方式来去除视频帧中的雨迹。

还有一部分是基于图像的除雨方法，对于单幅图像的除雨，比较新提出的一种方法是将输入图像分成低频部分(结构层)和高频部分(细节层)两部分进行除雨的方式。高频部分包括了雨迹和物体的边缘信息。这个方法尝试使用利用HOG特征的基于字典学习的稀疏表示方法将雨迹从高频部分分离出来。将图像的低频部分和分离后的高频部分的相结合的方式获得输出除雨的图像。尽管分解的想法很简洁，但是其设计的网络结构十分复杂，而且效果也不是十分理想。这种方式产生的结果都会由于高频部分的缺失使背景变得模糊。这个问题在采用相似想法的方法中都有体现。还有部分方法假设椭圆形，垂直方向的痕迹为雨滴并使用非线性的均值滤波方式来去除雨迹。这种方式对于部分雨迹的例子是有效果的，但是并不是所有雨滴的角度，比例和密度都是一样的，所以他对一些特定的雨迹识别效果非常差。

发明内容

本发明提出了一种基于优化算法结合残差网络的单幅图像除雨方法，消除了雨天拍摄图像在视觉上的影响。本算法使用交替方向乘子法(ADMM算法)求解雨天图像成像模型，并将残差网络和降噪算法嵌入ADMM框架中作为背景先验和雨先验进行迭代，将雨天拍摄的图像分成无雨清晰背景部分和雨迹部分。其中在残差网络中，使用合成雨图/清晰背景图像对作为训练集进行训练，用来描述图像背景先验。通过实验验证，使用嵌入残差网络的ADMM算法除雨结果的PSNR(Peak Signal to Noise Ratio，峰值信噪比)值高于其他除雨算法。另外，本研究也尝试将其他已有的除雨算法嵌入ADMM算法中作为背景先验迭代，得到的除雨效果也优于原算法本身的效果。

本发明采用的技术方案：