[发明专利]基于卷积神经网络的视频图像去雨方法

说明书

本发明属于图像处理、计算机视觉技术领域，为提高视频图像视觉效果的视频图像去雨方法，本发明，基于卷积神经网络的视频图像去雨方法，首先选择几帧连续图像，提取每帧图像的亮度分量以及对应的图像高频成分，然后将高频成分图像输入构建和训练好的卷积神经网络，随后得到经过卷积神经网络处理后的高频非雨成分图像，最后将非雨成分图像与保留的低频成分综合得到去雨后的视频图像，其中卷积神经网络具体关系为：式中，h_P(·)表示卷积神经网络，P表示网络参数，I表示原始的有雨图像，J表示无雨图像，通过训练卷积神经网络，使得D(P)的值达到最小，得到最优参数值P^*，进而得到去雨图像本发明主要应用于图像处理场合。

技术领域

本发明属于图像处理、计算机视觉技术领域，具体讲,涉及基于卷积神经网络的视频图像去雨方法。

背景技术

随着计算机科学技术的迅猛发展以及图像处理技术的日趋成熟，计算机视觉系统由于其精确、快速、可靠而且能直观、实时、全面反映被监测对象，及时获得大量丰富且高分辨率的图像信息等优点，尤其在某些不易人类直接观察的场合，可以解决观测难的问题，而被广泛的应用到各个领域。然而，在雨天气条件下获取的室外视频图像会受到天气环境的不利影响。雨线会模糊获取的户外视频图像，使图像丢失原有的细节信息和特征信息，并且使图像视觉效果下降，这极大地限制和影响了计算机视觉系统效用的发挥。

为了去除视频图像中雨线的影响，研究人员进行了广泛的研究，将视频图像去雨分为了两个步骤：雨线检测和雨线去除。雨线检测就是在视频图像中检测出雨线影响像素的位置，通常会利用视频图像的帧间信息和雨线特征。帧间信息是指雨线会增大影响像素的亮度，通过计算相邻两帧图像的差值图可以确定雨线的位置。但是，视频中往往会包含非雨的运动物体，这会干扰雨线的检测，需要通过雨线特征对雨线和运动物体进行区分。雨线去除就是利用帧间和帧内信息对检测出的雨线影响像素进行处理，通常会结合检测像素周围和前后帧的值进行计算和替换。现有的雨线特征在一定程度上可以实现雨线位置的准确检测，但是由于视频图像场景具有复杂性和多样性的特点，在很多条件下视频图像去雨算法的效果依旧不够理想。

发明内容

为克服现有技术的不足，本发明旨在提出有效去除视频图像中雨线影响，提高视频图像视觉效果的视频图像去雨方法。为此，本发明采用的技术方案是，基于卷积神经网络的视频图像去雨方法，首先选择几帧连续图像，提取每帧图像的亮度分量以及对应的图像高频成分，然后将高频成分图像输入构建和训练好的卷积神经网络，随后得到经过卷积神经网络处理后的高频非雨成分图像，最后将非雨成分图像与保留的低频成分综合得到去雨后的视频图像，其中卷积神经网络具体关系为：

式中，h_P(·)表示卷积神经网络，P表示网络参数，I表示原始的有雨图像，J表示无雨图像，通过训练卷积神经网络，使得D(P)的值达到最小，得到最优参数值P^*，进而得到去雨图像

具体地，首先将需要处理的视频进行分帧处理，即将视频分成一组图像序列，以便之后选择连续几帧图像输入网络进行处理；

对图像序列中的每帧图像进行颜色空间转换，由RGB颜色空间转换到YCbCr空间，得到亮度分量Y，蓝色差分量Cb和红色差分量Cr，Y分量进行后续的去雨处理，Cb、Cr分量留待最后的图像合成应用；

将图像Y分量首先分为两层，一层为图像Y分量的低频成分，为图像内容的大体轮廓；另一层为图像Y分量的高频成分，包括图像中的雨线和边缘纹理，如下式所示：

I＝I_base+I_detail

式中，I_base表示图像Y分量的低频成分，I_detail表示图像Y分量的高频成分，将I_detail输入卷积神经网络进行进一步处理。

卷积神经网络处理的具体步骤如下：