[发明专利]基于梯度先验知识和N-S方程的图像去雨方法

说明书

本发明公开了一种基于梯度先验知识和N‑S方程的图像去雨方法，首先利用雨条纹的稀疏性，干净背景的低秩性，背景的变化剧烈程度和雨滴的形态学特征进行检测，使用水平方向的轻微平移将剧烈抖动的视频或单张图片转换成背景几乎不移动的视频；再利用分裂增强拉格朗日收缩算法(SALSA)求解方程，对雨进行检测；同时基于流体动力学的Navier‑Stokes方程，建立修复模型。本发明方法适用于单张图片和视频，充分利用被雨滴覆盖的图像信息在空间上与时间上的连续性，使用梯度下降法进行快速求解，修复了被雨所遮挡的部分。本发明方法对含有雨的单张图片、静态背景的视频和动态背景的视频能够进行较为准确的雨检测和图像修复，得到高质量的去雨图像。

技术领域

本发明属于图像处理领域，具体涉及一种基于梯度先验知识和N-S方程的图像去雨方法。

背景技术

雨会对户外视觉系统以及后续处理算法的性能造成严重的影响，作为一个重要的研究课题，去除视频和图像中的雨条纹在计算机视觉和模式识别领域备受关注。近年来，非常多的针对视频和单张图片的去雨研究方法不断报道，主要可以分为数据驱动和模型驱动。其中，数据驱动主要是使用深度学习进行视频或者单张图片去雨，模型驱动主要是利用带雨的图像视频的物理属性和先验知识，例如低秩性、稀疏性或色彩属性来实现雨的去除和检测。

早期进行去雨方向的研究的的主要思路是修改相机参数，例如增加曝光时间或者减少相机的景深，或利用时空上的相关性去捕捉动态的雨实现检测，然后通过前后帧的平均值对被检测为雨滴的部分进行修复，或利用雨滴的外形特征去识别并去除雨。其中修改相机的参数的方法有一定的限制，对于被捕获的已经有雨的视频，这种思路不总是有使用的条件。同时，这些早期方法修复被雨覆盖的区域的方法只是简单地使用前后帧的平均值，导致在视频背景变化时往往会造成失真。

在过去的十年，低秩性和稀疏性备受关注，Jie(Jie C,Chau L P.A Rain PixelRecovery Algorithm for Videos With Highly Dynamic Scenes[J].IEEE Transactionson Image Processing,2014，23(3):1097-1104.)使用光流法将动态的场景和非动态的场景区分出来，分别进行处理。Jie的方法仅仅针对利用前后帧做差来实现对雨的检测，这种检测方法可靠性较低，只适用雨背景几乎没有明显变化的视频，对于动态背景就会失效，也无法处理单张图像。并且，他的修复方法也仅仅是使用前后帧插值而已，这样会导致去雨后的视频变模糊。

Jiang(Jiang T X,Huang T Z,Zhao X L,et al.FastDeRain:A Novel VideoRain Streak Removal Method Using Directional Gradient Priors[J].IEEETransactions on Image Processing,2018:1-1.)通过详细分析雨条纹的稀疏性和干净视频的低秩性，建立了FastDerain模型进行去雨。他使用的是线性模型，假设有雨的视频是雨水和无雨背景以及噪音的线性叠加，通过计算直接得出去雨之后的背景，但实际上，雨和背景还有噪音并不是简单的线性叠加，雨对图像的影响是复杂而多方面的。依据简单的线性叠加在去雨的时候，会同时降低图像亮度，并且会去掉很多有用的信息。

因此，现有方法存在不能同时处理视频和单帧图片，对于动态背景的视频处理效果欠佳，在检测到雨之后对被雨水影响的部分的修复质量差等问题。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于梯度先验知识和N-S方程的图像去雨方法，从而对含有雨的单张图片、静态背景的视频和动态背景的视频都进行较为准确的雨检测和图像修复，得到高质量的去雨图像。