[发明专利]基于生成对抗网络的水下灰度偏振图像复原方法

权利要求书

1.一种基于生成对抗网络的水下偏振图像复原方法，其特征在于，通过数据集不配对的方式实现无监督地进行训练、并获得清晰的水下偏振复原图像，该方法包括以下步骤：

步骤1、将使用黑白偏振相机在清水下采集到的清晰的水下偏振图像和浑浊的水下偏振图像；

步骤2、进行图像数据预处理，将每张清晰的水下偏振图像和浑浊的水下偏振图像拆分成偏振方向分别为0°、45°、90°的三幅偏振子图，然后合并成一个具有三个通道的三维数组，最后将其裁剪为大小为400×400×3的三维数组块，构建成图像数据集；

步骤3、将步骤2中所构建的图像数据集中按5:1:1的比例分为训练集、验证集和测试集；

步骤4、构建包括生成器和判别器的深度神经网络，其中，所述生成器包括浅层特征提取模块、残差模块和上采样模块，一共配置有6个残差模块；用于依据输入的经过预处理的清晰的水下偏振图像和浑浊的水下偏振图像生成预测的清晰的水下偏振图像和预测的浑浊的水下偏振图像；所述判别器由五层卷积层组成，用于输出判别真实图像和生成图像的判别结果；设置深度神经网络的损失函数l(Θ)，用于优化网络中的所有可训练参数Θ，损失函数由对抗损失函数、一致性损失函数、感知损失函数、风格损失函数和偏振损失函数组成：

计算对抗损失函数，表达式如下：

l_GAN(G,D_Y,X,Y；Θ)＝E[logD_Y(y)]+E[1-logD_Y(G(x；Θ))]

l_GAN(F,D_X,X,Y；Θ)＝E[logD_X(x)]+E[1-logD_X(F(y；Θ))]

其中，x表示水下浑浊图，y表示水下清晰图，E为期望，G:X→Y表示生成清晰图的生成器，D_Y表示判别生成器G生成的图和真实水下清晰图的判别器，G(x；Θ)表示生成器G生成的图像，D_Y(y)为y经过判别器D_Y的结果，D_Y(G(x；Θ))为G(x；Θ)经过判别器D_Y的结果；F:Y→X表示生成浑浊图的生成器，D_X表示判别生成器F生成的图和真实水下浑浊图的判别器：F(y；Θ)表示生成器F生成的图像，D_X(x)为x经过判别器D_X的结果，D_X(F(y；Θ))为F(y；Θ)经过判别器D_X的结果；

计算一致性损失函数，表达式如下：

l_cyc(G,F；Θ)＝E[||F(G(x))-x||₁]+E[||G(F(y))-y||₁]

其中，x表示水下浑浊图，y表示水下清晰图，E为期望，G(x)表示水下浑浊图经过生成器G:X→Y得到的结果，F(G(x))表示G(x)经生成器F:Y→X得到的重构的浑浊图，F(y)为水下清晰图y经过生成器F:Y→X得到的结果，G(F(y))表示F(y)经生成器G:X→Y得到的重构的清晰图；

计算感知损失函数，表达式如下：

其中，x表示水下浑浊图，y表示水下清晰图，E为期望，φ表示在VGG19网络中的第二和第五池化层提取得到的特征图，G(x)表示水下浑浊图经过生成器G:X→Y得到的结果，F(G(x))表示G(x)经生成器F:Y→X得到的重构的浑浊图，F(y)为水下清晰图y经过生成器F:Y→X得到的结果，G(F(y))表示F(y)经生成器G:X→Y得到的重构的清晰图；

计算风格损失函数，表达式如下：

其中，表示由VGG19网络中提取到的特征图求得的格拉姆矩阵；j为VGG19网络中的第二至第五池化层，E_j为各个池化层计算得到的期望，G(x)表示水下浑浊图经过生成器G:X→Y得到的结果，F(G(x))表示G(x)经生成器F:Y→X得到的重构的浑浊图，F(y)为水下清晰图y经过生成器F:Y→X得到的结果，G(F(y))表示F(y)经生成器G:X→Y得到的重构的清晰图；

计算偏振损失函数，由偏振度损失l_DoLP和偏振角损失l_AoP组成，表达式如下：

其中，DoLP和AoP表示计算图像的偏振度和偏振角，G(x)表示水下浑浊图经过生成器G:X→Y得到的结果，F(G(x))表示G(x)经生成器F:Y→X得到的重构的浑浊图，F(y)为水下清晰图y经过生成器F:Y→X得到的结果，G(F(y))表示F(y)经生成器G:X→Y得到的重构的清晰图；

最后，总损失函数表达式如下：

L＝λ_adv(l_GAN(G,D_Y,X,Y；Θ)+l_GAN(F,D_X,X,Y；Θ))+λ_cycl_cyc+λ_perl_per+λ_styl_sty+λ_DoLPl_DoLP+λ_AoPl_AoP

其中，λ_adv，λ_cyc，λ_per，λ_sty，λ_DoLP，λ_AoP分别为对抗损失lGAN、一致性损失lcyc、感知损失l_per、风格损失l_sty、偏振度损失l_DoLP和偏振角损失l_AoP的权重系数；

步骤5、对所述深度神经网络进行训练，生成对抗网络训练模型，最终得到训练好的深度神经网络训练模型；

步骤6、将步骤3中的测试集放到训练好的深度神经网络训练模型进行测试，输出最终的水下偏振图像复原结果。