[发明专利]区域感知的循环迭代去雨滴方法

说明书

本发明公开了一种区域感知的循环迭代去雨滴方法，包括：引入多幅真实雨滴附着图像、每幅真实雨滴附着图像对应的真实清晰图像以及每幅真实雨滴附着图像对应的真实雨滴掩膜图像，并将其划分为训练集、验证集；构建去雨滴网络模型，去雨滴网络模型包括循环雨滴区域检测子网络和图像复原编解码子网络；构建目标损失函数，采用训练集训练去雨滴网络模型并通过验证集验证得到训练好的去雨滴网络模型；将真实采集的雨滴附着图像输入到上述去雨滴网络模型，依次经过循环雨滴区域检测子网络与图像复原编解码子网络得到预测雨滴掩膜图像与去雨滴结果。本发明解决了现有技术中难以准确定位与去除尺寸形状和透明度变化范围大、位置随机分布的雨滴的问题。

技术领域

本发明属于深度学习图像增强的技术领域，具体涉及一种区域感知的循环迭代去雨滴方法。

背景技术

雨天作为一种最常见的恶劣天气，会导致很多原本为清晰成像条件设计的户外视觉系统运行效果大大折扣。附着在相机镜头或车辆挡风玻璃上的雨滴会对图像背景信息造成严重的模糊和遮挡效应，单幅图像去雨滴以一张雨滴附着图像作为输入，目的是去除雨滴对图像造成的影响，尽可能恢复出清晰的背景。

早期的图像去雨滴方法大多聚焦在通过对雨滴的物理特性、光线透过雨滴的成像过程进行分析，从而对图像上的雨滴进行检测与定位，通常形状规则的雨滴呈现椭圆形、可以被看作鱼眼镜头，将原本清晰地背景进行模糊、放大后成像，并采用主成分分析PCA、离散小波变换DCT等来实现雨滴去除。这些基于不同先验知识的方法对图像的特征提取和表达均停留在较低的层次，当图像中出现外观形态类似雨滴的物体也会被误去除，适用场景有限、鲁棒性不足。近年来基于深度学习的去雨算法也不断被提出，由卷积神经网络来学习由于雨滴附着图像到对应清晰背景的端到端映射关系。2021年，Zamir等人指出图像复原任务需要保证空间细节信息与高层语义信息之间的平衡，从这一角度出发提出了多阶段渐进式图像复原基准网络MPRNet，但该方法缺乏对雨滴区域的准确定位，去雨滴结果存在一定雨滴残留，难以处理现实中尺寸形状多变、位置随机分布的雨滴，对真实数据泛化性不够。

发明内容

本发明的目的在于针对现有技术的不足之处，提供一种区域感知的循环迭代去雨滴方法，该方法解决了现有技术中难以准确定位与去除尺寸形状和透明度变化范围大、位置随机分布的雨滴的问题。

为解决上述技术问题，本发明采用如下技术方案：

一种区域感知的循环迭代去雨滴方法，包括如下步骤：

步骤1：引入多幅真实雨滴附着图像、每幅真实雨滴附着图像对应的真实清晰图像以及每幅真实雨滴附着图像对应的真实雨滴掩膜图像，并将其划分为训练集、验证集；

步骤2：构建去雨滴网络模型，所述去雨滴网络模型包括循环雨滴区域检测子网络和图像复原编解码子网络，所述循环雨滴区域检测子网络用于对将每幅真实雨滴附着图像与上一轮去雨滴结果级联后进行雨滴退化区域定位得到每幅真实雨滴附着图像对应的预测雨滴掩膜图像并结合真实雨滴掩膜图像生成雨滴检测损失，图像复原编解码子网络用于将每幅真实雨滴附着图像、上一轮去雨滴结果与预测雨滴掩膜图像级联后进行去雨滴处理得到每幅真实雨滴附着图像对应的去雨滴结果并结合真实清晰图像生成图像复原损失；

步骤3：根据雨滴检测损失和图像复原损失构建目标损失函数，采用步骤1的训练集训练去雨滴网络模型以对目标损失函数寻优获得优化后的模型参数，并通过验证集验证，最终得到训练好的去雨滴网络模型；

步骤4：将真实采集的雨滴附着图像输入步骤3得到的训练好的去雨滴网络模型，依次经过循环雨滴区域检测子网络与图像复原编解码子网络，进行前向传播得到预测雨滴掩膜图像与去雨滴结果。

进一步地，步骤1所述多幅真实雨滴附着图像，定义为：

{I_k,k∈[1,K]}

其中，I_k是第k幅真实雨滴附着图像，K表示真实雨滴附着图像的数量；