[发明专利]基于多尺度密集混合注意力神经网络的图像去雨方法

说明书

本发明公开了一种基于多尺度密集混合注意力神经网络的图像去雨方法，包括以下步骤：构建多尺度密集混合注意力神经网络，包括顺序连接的进入模块、多个密集注意力模块、退出模块、全连接操作单元以及负残差还原操作单元，两两相邻的密集注意力模块之间设置一转接层；将含雨图像输入多尺度密集混合注意力神经网络，进行初始特征提取；密集注意力模块对初始特征处理；对密集注意力模块输出的特征经转接层变为和初始特征相同维度大小的特征；全连接操作与负残差还原操作，最后输出无雨清晰图像。基于本发明，可以充分地去除含雨图像中的雨纹，并且较好的保留图像中的背景信息。

技术领域

本发明属于计算机视觉任务中的低级处理技术或图像处理中的图像复原技术领域，具体涉及一种基于多尺度密集混合注意力神经网络的图像去雨方法。

背景技术

诸如监控系统等成像设备在室外拍摄遇到雨天时，拍摄所得的图像上会依附有雨滴，这种现象导致图像的可视化质量下降，从而使得计算机系统对该图像的处理无法正常操作。例如无人车需要时刻拍摄当前环境的图像估计行进路线，若图像的可视化质量下降，则无人车无法正常行驶。

近年来关于单图像去雨算法的研究大致可分为非深度学习的图像去雨算法和深度学习的图像去雨算法。

基于卷积神经网络的深度学习图像去雨方案目前有：Fu等人提出了基于残差神经网络框架的深度细节网络(DDN)，他们利用低频滤波器将含雨图像分解为细节层和基础层，然后将细节层图像作为深度细节网络的输入，并提出了含雨图像和无雨图像之间的负残差层有利于神经网络拟合学习的观点；Zhang等人认为含雨图像上存在不均匀密度的雨纹，他们依据此设计了一个通过由残差感知分类器获得估计的雨纹密度标签指导雨纹去除的多流密集连接神经网络(DID-MDN)，并创建了包含雨纹密度标签的数据集用于训练所提出的密度感知网络；Li等人介绍了一个结合了深度卷积和循环结构的神经网络(RSECAN)，该网络采用了膨胀卷积操作来获取更大的感受野进而提取更多上下文信息，利用压缩激发模块指定不同方向和形状的雨纹层的权重值，同时将去雨操作分解为多个阶段，通过循环神经网络结构以保留使用上一去雨阶段的信息。

徐奕等人提出的一种基于多尺度特征融合的单帧图像去雨方法；柳长源等人提出的一种多通道多尺度卷积神经网络的单幅图像去雨方法。

上述图像去雨技术存在的缺点主要是去雨不足和过度去雨，前者导致雨纹痕迹残留在图像上，后者导致图像背景细节信息被破坏。去雨不足的原因在于现有去雨技术对含雨图像上雨纹特征信息提取的不充分，没有全面地考虑含雨图像上不同规模和方向的雨纹；过度去雨的原因主要是现有去雨技术对含雨图像上雨纹特征信息提取的不准确，即混淆了雨纹信息和背景细节信息，没有准确地判别出雨纹。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于多尺度密集混合注意力神经网络的图像去雨方法，该方法基于卷积神经网络进行构建，能较为充分地去除含雨图像上的雨纹，并较好地保留背景细节信息。

为了达到上述目的，本发明采用以下技术方案：

基于多尺度密集混合注意力神经网络的图像去雨方法，包括以下步骤：

构建多尺度密集混合注意力神经网络，所述多尺度密集混合注意力神经网络包括顺序连接的进入模块、多个密集注意力模块、退出模块，全连接操作单元以及负残差还原操作单元，两两相邻的密集注意力模块之间设置一转接层；所述密集注意力模块包括多个组合模块，每个组合模块包括密集层、选择核单元以及空间注意力块，并按照密集层、选择核单元和空间注意力块的顺序对输入特征依次进行处理，处理结果输入到下一个组合模块；

将含雨图像输入多尺度密集混合注意力神经网络，进行初始特征提取；