[发明专利]一种基于残差先验注意力机制的并行单幅图像去雨方法

说明书

本发明公开一种基于残差先验注意力机制的并行单幅图像去雨方法，包括1)获取待去雨图像；2)通过图像细节提取网络提取图片细节特征信息；3)通过雨线特征提取网络提取图片雨线特征信息；4)通过特征融合网络融合所述细节特征信息和雨线特征信息；5)完成去雨。本发明通过残差先验注意力模块强化有效特征信息弱化无关项，提高了模型的去雨性能；通过合理的细节特征和雨线特征的融合及微调网络，提高模型的去雨性能。

技术领域

本发明涉及一种基于残差先验注意力机制的并行单幅图像去雨方法。

背景技术

恶劣的天气状况会导致摄像头等图像采集设备获取到低质量的图像，这些图像通常会细节丢失和信号失真，但输入高质量的干净图像是许多计算机视觉应用的使用前提。有雨环境正是一种典型的恶劣天气，图像中的雨线使图像模糊，丢失大量信息。雨天条件会影响图像的生成质量，给视觉带来影响的同时会减低计算机视觉算法的性能。单幅图像去雨目前仍是具有挑战性的一项任务，现有算法在去除雨纹的同时会造成背景细节纹理的丢失。

(1)残差网络：残差网络(Residual Network)是一种非常有效的缓解梯度消失问题网络，提出之后大大加深了当时网络的深度。残差单元可以以跳层连接的形式实现，即将单元的输入直接与单元输出加在一起，然后再激活。因此残差网络可以轻松地用主流的自动微分深度学习框架实现，直接使用BP算法更新参数损失对某低层输出的梯度。

(2)注意力机制:注意力机制本质上与人类视觉选择性注意力机制类似，从众多信息中选出对当前任务目标更为关键的信息，通过手段获取每张特征图重要性的差异，抑制无用信息，凸显有用信息(将注意力集中在图中重要区域)。广泛用于自然语言处理，图像识别和语言识别当中。

(3)图像增强:图像增强是有目的地强调图像的整体或局部特性，例如改善图像的颜色、亮度和对比度等，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，提高图像的视觉效果。近年来，卷积神经网络在很多低层次的计算机视觉任务中取得了巨大突破，包括图像超分辨、去模糊、去雨、去噪、图像增强等。

目前现有的去雨方法将重心放在提高模型的参数量和深度去清除雨线问题上，尽管雨线去除的效果不错，但是忘记了图像细节属于低维特征，并不需要非常深的网络提取。去雨的目的不仅是为了去除雨线，同时也要保留和恢复图像的细节信息。以便于用于后续的高级图像处理任务。

发明内容

为解决以上现有技术存在的问题，本发明提出一种基于残差先验注意力机制的并行单幅图像去雨方法，通过注意力机制选出去雨任务更关键的信息，提高去雨效果，同时设计一个低维特征提取网络，用多个简化版的Unet模型并联保留和恢复图像细节信息。

本发明可通过以下技术方案予以实现：

一种基于残差先验注意力机制的并行单幅图像去雨方法，包括以下步骤：

1)获取待去雨图像；

2)通过图像细节提取网络提取图片细节特征信息；

3)通过雨线特征提取网络提取图片雨线特征信息；

4)通过特征融合网络融合所述细节特征信息和雨线特征信息

5)完成去雨。

进一步地，所述步骤1)中首先获取模型训练图片，图像由不带雨的清晰图像和待去雨图像组成，待去雨图像通过在清晰图像上叠加仿真的雨线和雨滴获得，待去雨图像和不带雨的清晰图像一一对应，所有图像按照9:1的比例划分训练集和测试集。

进一步地，所述图像细节提取网络由多个Unet模块并联组成，如以下公式所示：