[发明专利]一种基于动态网络路由的图像去雨方法及电子装置

说明书

本发明公开了一种基于动态网络路由的图像去雨方法及电子装置，包括根据样本雨图的相应雨量大小，划分为n个分辨率尺度；依据样本雨图与相应样本无雨图对一神经网络进行训练，使各样本雨图拟合相应的分辨率尺度，得到去雨模型；将待处理图片输入去雨模型，得到去雨图片。本发明可以为不同的输入雨图构建不同的前向传播路径，这对于提升去雨模型对不同雨分布的输入图像的鲁棒性有明显优势。

技术领域

本发明属于图像去雨领域，尤其涉及一种基于动态网络路由的图像去雨方法及电子装置。

背景技术

在雨天条件下拍摄得到的图像，由于雨痕的存在，会导致图像质量受到较大的影响，从而导致其视觉效果明显变差。因此，对于带雨图像进行去雨处理，从而改善其图像质量，近年来，随着深度学习技术的快速发展，出现了基于深度学习的图像去雨技术。但是，由于拍摄条件、场景的复杂性，图像去雨技术需要面对雨痕分布复杂的问题。举例而言，如果雨量较大，那么图像中的雨痕就会比较明显，其尺寸也会较大；而如果雨量较小，那么往往雨痕并不明显，相比之下图像的雾化效应更加显著。此外，由于拍摄设备等因素导致的诸如雨痕分布、雨痕方向的复杂性，也使得单张图像的去雨问题变得更加困难。

现有的去雨神经网络结构往往是静态的、事先被定义好的，即在网络的前向传播过程中，对于不同的输入数据，后续计算过程中数据流的走向是固定的。但是如上述对于去雨问题的分析，不同输入图像的雨痕导致的降质是多样并且复杂的。相同的静态网络结构对于不同雨痕分布的输入并不能起到通用的建模效果，从而导致去雨模型对于不同输入的去雨效果的鲁棒性不足。

发明内容

针对上述问题和相关方法的缺陷，本发明提出了一种基于动态网络路由的图像去雨方法及电子装置，对于不同的输入图像进行动态网络路由，从而自适应地为不同的输入图像构建不同的网络前向传播计算路径，获取效果更佳的去雨图。

本发明的技术方案包括：

一种基于动态网络路由的图像去雨方法，其步骤包括：

1)根据样本雨图的相应雨量大小，划分为n个分辨率尺度，其中n≥3；

2)依据样本雨图与相应样本无雨图对一神经网络进行训练，使各样本雨图拟合相应的分辨率尺度，得到去雨模型；

3)将待处理图片输入去雨模型，得到去雨图片；

其中，通过以下策略构造所述神经网络：

a)所述神经网络包括若干网络层；

b)每一网络层的由m个细胞单元组成，其中m≤n+1；

c)所述细胞单元以待处理图片或上一网络层中相应分辨率尺度及n-1个邻近分辨率尺度的细胞单元输出数据，作为该细胞单元的输入数据；

d)每一细胞单元对相应分辨率尺度及n-1个邻近分辨率尺度的数据进行卷积计算；

e)进行数据卷积计算之前，对上一网络层中相应分辨率尺度及n-1个邻近分辨率尺度的细胞单元输出数据进行整合操作。

进一步地，利用photoshop中photoshopweather-effects-rain的功能，将样本无雨图转化为样本雨图。

进一步地，n个分辨率尺度中相邻尺度之间的分辨率相差2倍。

进一步地，利用神经网络输出的样本去雨图片与相应样本无雨图的平方误差函数，作为损失函数，对神经网络进行训练。

进一步地，依据样本雨图与相应样本无雨图对神经网络进行训练之前，使用高斯方法初始化各细胞单元的内部卷积参数。

进一步地，所述细胞单元还包括一门函数；所述门函数依据整合后的数据，禁止相应细胞单元输出无效分辨率尺度数据。