[发明专利]一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法

说明书

本发明涉及一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法，首先利用快速引导滤波将有雨图像分解为低频图层和高频图层；接着将高频图层输入到一个结合了压缩奖惩神经网络结构块、批归一化处理以及本方法提出的重用原始信息连接方式的神经网络中进行特征学习与提取，去除其中的雨线；最后将去除雨线之后的高频图层与原始的低频图层相加得到最终的去雨结果。本方法针对单幅有雨图像进行去雨，与现有的传统去雨方法、基于深度学习去雨方法相比，都能得到更高质量的无雨图像；并且本方法提出的网络是基于压缩奖惩神经网络的，而本方法提出的网络所使用的压缩奖惩结构块则可以很好地刻画特征通道之间的关系，从而提高网络的表达力，提升去雨效果。

技术领域

本发明涉及图像处理技术领域，尤其是一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法。

背景技术

在雨天情况下，雨滴颗粒一般大于100μm，容易被镜头捕捉，雨天会降低图像的质量，影响图像中的色彩信息。因此，受有雨天气状况的影响，户外镜头所采集图像的部分纹理与细节信息容易被雨线遮挡，造成局部区域过亮，背景图像模糊等问题。雨天图像质量的退化极大制约了如视觉监控、视觉导航与目标跟踪等户外智能视觉系统的功能。且雨滴颗粒状态多变，不同情形下的雨线方向和粗细均不相同，因此，研究如何从各类雨天降质图像中恢复出高质量的图像具有极高的研究与应用价值。

图像去雨研究主要包括视频图像去雨与单幅图像去雨。视频图像目前取得了较大的进展，但是由于这些算法所适用的视频图像中包含较为丰富的时域信息，这些信息又是单幅图像所不具备的，因此这些视频去雨的算法并不能直接应用到单幅图像去雨中。

例如，基于雨线动态模型与亮度模型实现雨线检测，利用图像帧之间的雨线亮度差异与背景亮度存在一定的线性关系，并通过对亮度取平均值消除雨线。

例如，利用受雨滴遮挡像素的RGB三个通道的亮度变化值基本不变，提出了一种色度约束模型解决雨滴的误检测问题，并采用K-means聚类实现视频去雨。

例如，基于HSV空间分析雨滴成像特性，构造了如何区分雨滴与其他运动目标的度量函数，大大提高了视频去雨的实时性。将灰色调代替亮度值，实现雨滴候选区域的提取，建立了雨滴方向的概率密度，并采用方向约束实现视频去雨，但去雨效果易受雨滴下降速度、风向及其他运动目标的影响，基于高斯混合模型拟合雨线方向直方图，并利用雨滴大小与亮度实现雨滴候选区域检测，但是雨线方向的变化或者交叠会造成很高的误检率。利用视频图像中雨滴像素的局部时空差异特征，提出了一种粘附雨滴的建模、检测及去除的方法，但该方法并不适合于非粘附的雨滴。

另外，Wu等人结合雨滴的颜色、纹理和形状特征构建雨滴显著图，实现候选雨滴区域的确定，提出一种基于学习的雨滴判断方法，并采用图像修复技术实现交通监控图像的去雨。然而，该方法认为雨滴在拍摄镜头玻璃上呈现出圆形具有一定的局限性，且无法适用风势和雨势较大的情况。Kim等假设雨滴呈椭圆形且雨线方向为垂直向下，利用椭圆核的形状与方向实现雨滴检测，并基于非局部均值滤波方法实现单幅图像去雨。Chen等利用图像中雨线呈现出较高的相似性与降雨图像的退化原理，基于雨线的时空相关性提出一种低秩模型实现单幅(视频)图像去雨，但这一方法并未考虑降雨时大风、雨雾等外界因素的影响。

再如Luo等人基于滤色图层混合模型提出了一种基于稀疏编码和字典学习的方法。但当图像中包含与雨线结构相似的物体时，该方法会误将这些物体当成雨线来进行处理，导致背景的模糊。Li等人提出了一种基于无雨图层和有雨图层块的先验方法。这种方法关键的地方在于高斯混合模型的构建，而这又依赖于用户选取合适的区域来提供先验信息，进而构建模型，因此操作比较繁琐，不太可靠，且运行时间相对会长一点。随着深度学习的再度兴起，也有一些基于深度学习的算法被提出，如Fu等人提出的两种网络DerainNet和DetailNet，以及Wang等人提出的DRCNN网络。这些算法虽然能获得比传统算法较好的效果，但去雨结果中仍会存在一些背景细节丢失的情况。同时有的网络层数过深，训练代价较大，如DetailNet 就包含26层。因此，亟需要一种有效的单幅图像去雨方法。

发明内容