[发明专利]基于密集多尺度生成对抗网络的单幅图像去雨滴方法

权利要求书

1.一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，其特征在于，包括：

通过密集网络构建多尺度图像修复模型；

利用所述多尺度图像修复模型构建判别网络模型；

结合所述判别网络模型和生成网络模型组成多尺度生成对抗网络模型；

利用误差反向交替训练所述多尺度生成对抗网络模型；

利用训练好的所述生成网络模型生成去雨滴模型，去除雨滴；

所述通过密集网络构建多尺度图像修复模型，包括：

利用特征重用的密集网络构建多个端到端的单尺度图像修复模型，将多个所述单尺度修复模型组合，形成多尺度图像修复模型；

得到多个单尺度图像修复模型之后，所述方法还包括：

获取原始有雨图像和原始无雨图像，利用所述多尺度图像修复模型分别对原始有雨图像和原始无雨图像进行下采样和上采样处理，直至最后一个所述单尺度图像修复模型；

结合所述判别网络模型和所述多尺度修复模型组成多尺度生成对抗网络模型，包括：

将多个所述多尺度图像修复模型进行串联，得到生成网络，利用所述生成网络输出的残差雨滴层加入所述判别网络模型组成多尺度生成对抗网络模型，获取原始有雨图像R、原始无雨图像B和残差雨滴层M，其中，残差雨滴层M＝R-B，向生成网络输入R得到生成去雨滴图片和用所述B和M作为第一组图片，用所述和作为第二组图片，将所述第一组图片输入到所述判别网络模型，所述判别网络模型输出的理想判别值为True，表示所述基于注意力机制条件判别网络去判决B是真清晰图，将所述第二组图片输入到所述判别网络，所述判别网络输出的理想判别值为False，表示所述基于注意力机制条件判别网络去判决是生成逼近B的网络预测图，生成网络与判别网络相互对抗，直到无限逼近B，所述判别网络模型无法判别真假；

利用误差反向交替训练所述多尺度生成对抗网络模型，包括：

将所述原始有雨图像R输入所述多尺度生成对抗网络模型得到去雨滴图片和去雨滴残差雨滴图片并将所述原始无雨图像R和所述残差雨滴层输入所述判别网络模型进行判别，并计算所述判别网络模型与所述生成网络模型的误差，根据计算得到的所述误差，反向传播交替训练所述判别网络模型和所述生成网络模型，并不断更新所述判别网络模型和所述生成网络模型的参数，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后，完成训练；

其中，计算所述判别网络模型与所述生成网络模型的误差的方法为：设定所述生成网络模型为G(x)，所述判别网络模型D(x)，所述生成网络模型函数为：

其中，和分别是G(x)预测的生成去雨滴图片和生成残差雨滴层；

所述基于密集多尺度生成网络模型的目标函数为：

其中，其中VGG是一个预先训练好的CNN网络，并从给定的输入图像生成特征，L_p叫感知特征误差，判别网络的误差，L_m是多尺度误差计算公式：

所述基于注意力机制判别网络的目标函数为:

其中，mse是L₂范数距离公式，由式(2)和(5)计算出所述判别网络模型与所述多尺度生成对抗网络模型的误差。

2.如权利要求1所述的一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，其特征在于，利用所述多尺度图像修复模型构建判别网络模型，包括：

利用所述多尺度图像修复模型修复残差雨滴层时，残差雨滴层通过卷积操作形成带注意力机制的判别网络模型对修复的图像进行判别。