[发明专利]区域感知的循环迭代去雨滴方法

权利要求书

1.一种区域感知的循环迭代去雨滴方法，其特征在于，包括如下步骤：

步骤1：引入多幅真实雨滴附着图像、每幅真实雨滴附着图像对应的真实清晰图像以及每幅真实雨滴附着图像对应的真实雨滴掩膜图像，并将其划分为训练集、验证集；

步骤2：构建去雨滴网络模型，所述去雨滴网络模型包括循环雨滴区域检测子网络和图像复原编解码子网络，所述循环雨滴区域检测子网络用于对将每幅真实雨滴附着图像与上一轮去雨滴结果级联后进行雨滴退化区域定位得到每幅真实雨滴附着图像对应的预测雨滴掩膜图像并结合真实雨滴掩膜图像生成雨滴检测损失，图像复原编解码子网络用于将每幅真实雨滴附着图像、上一轮去雨滴结果与预测雨滴掩膜图像级联后进行去雨滴处理得到每幅真实雨滴附着图像对应的去雨滴结果并结合真实清晰图像生成图像复原损失；

步骤3：根据雨滴检测损失和图像复原损失构建目标损失函数，采用步骤1的训练集训练去雨滴网络模型以对目标损失函数寻优获得优化后的模型参数，并通过验证集验证，最终得到训练好的去雨滴网络模型；

步骤4：将真实采集的雨滴附着图像输入步骤3得到的训练好的去雨滴网络模型，依次经过循环雨滴区域检测子网络与图像复原编解码子网络，进行前向传播得到预测雨滴掩膜图像与去雨滴结果。

2.根据权利要求1所述的区域感知的循环迭代去雨滴方法，其特征在于，步骤1所述多幅真实雨滴附着图像，定义为：

{I_k,k∈[1,K]}

其中，I_k是第k幅真实雨滴附着图像，K表示真实雨滴附着图像的数量；

步骤1中多幅真实雨滴附着图像对应的真实清晰图像，定义为：

其中，是第k幅真实雨滴附着图像对应的真实清晰图像，K表示真实雨滴附着图像的数量；

步骤1中每幅真实雨滴附着图像的真实雨滴掩膜图像，定义为：

其中，是第k幅真实雨滴附着图像对应的真实雨滴掩膜图像，由真实雨滴附着图像与对应真实清晰图像间的残差绝对值构建，K表示合成雨天图像的数量。

3.根据权利要求1所述的区域感知的循环迭代去雨滴方法，其特征在于，循环雨滴区域检测子网络包括特征提取层、SE通道注意力残差模块、LSTM单元以及卷积层；

每幅真实雨滴附着图像与上一轮去雨滴结果级联后输入到特征提取层中进行特征提取获得特征图，将特征图输入到SE通道注意力残差模块中对各特征通道按重要程度重新加权获得新的特征图并输入到LSTM单元中，LSTM单元整合有效特征信息并建立长期依赖关系再送入至卷积层中进行预测得到每幅真实雨滴附着图像经过第i轮迭代对应的预测雨滴掩膜图像。

4.根据权利要求3所述的区域感知的循环迭代去雨滴方法，其特征在于，SE通道注意力残差模块包括两个常规卷积层、全局平均池化层以及两个全连接层，在SE通道注意力残差模块中，输入的特征图首先经过两个常规卷积层提取特征，再经过全局平均池化层将每个通道的特征图整合为反映全局特征信息的数值，接着由两个全连接层分别进行通道缩减和通道扩充，并为每个特征通道生成相应的重要性权重，得到表征通道间相关性的权重向量后，再与输入的特征图在通道维度相乘，最后将SE通道注意力残差模块重校准后的特征与输入的特征经全局残差连接相加得到输出特征图。

5.根据权利要求1所述的区域感知的循环迭代去雨滴方法，其特征在于，步骤2构建的雨滴检测损失函数的方法为：

以真实雨滴附着图像I_k与上一轮去雨滴结果级联作为循环雨滴区域检测子网络的输入，其中i∈[1,T]，T是去雨滴网络迭代总次数，初始轮迭代中没有上一轮复原结果，则直接复制原始雨滴附着图像；

经过迭代，循环雨滴区域检测子网络的预测结果为第k幅真实雨滴附着图像的预测雨滴掩膜图像：

其中，K表示合成雨天图像的数量，是第k幅真实雨滴附着图像经过第i轮迭代对应的预测雨滴掩膜图像；

雨滴检测损失函数为：

其中，K表示合成雨天图像的数量，是第k幅真实雨滴附着图像经过第i轮迭代对应的预测雨滴掩膜图像，是第k幅真实雨滴附着对应的真实雨滴掩膜图像。