[发明专利]一种单图像去反光的方法、装置及存储介质

权利要求书

1.一种单图像去反光的方法，其特征在于，包括以下步骤：

通过人工拍摄获取背景图像和对应的反射图像，并根据所述背景图像和所述反射图像的叠加，得到反光图像；

将所述反光图像输入到预训练的VGG-19网络进行超列特征提取，得到特征集合；

将所述特征集合输入到预设的生成网络中，得到预测背景图和预测反射图；其中，所述生成网络的联合损失函数包括超列特征空间的重建损失函数、对抗损失函数和分离损失函数；

将所述预测背景图和所述背景图像输入到预设的鉴别网络，以计算得到所述鉴别网络的鉴别损失函数；

通过多次迭代计算，直至所述联合损失函数和所述鉴别损失函数均收敛，完成所述生成网络和所述鉴别网络的训练；

选取多张所述反光图像进行去反光处理，以定量评估去反光效果；

其中，所述生成网络的联合损失函数包括超列特征空间的重建损失函数、对抗损失函数和分离损失函数，具体包括：

所述超列特征空间的重建损失函数的表达式为其中，L_feat(θ)为所述超列特征空间的重建损失函数，I、T和f_T(I；θ)分别为所述反光图像、所述背景图像和所述预测背景图，λ_l为第l层卷积层的影响权重，Ω为训练的图像数据集合，||·||₁表示对神经网络卷积结果的向量取1-范数，即向量元素的绝对值之和，Φ_l(x)表示VGG-19网络的第l层卷积层的卷积运算，θ表示生成网络参数；

所述对抗损失函数的表达式为其中，L_adv(θ)为所述对抗损失函数，D(I,x)表示x为所述反光图像I对应的所述背景图像的概率，由所述鉴别网络的输出得到；

所述分离损失函数的表达式为其中，L_excl(θ)为所述分离损失函数，λ_T与λ_R分别为第一标准化参数和第二标准化参数，||·||_F为罗贝尼乌斯范数，⊙表示元素相乘，n为图像下采样参数，1≤n≤N，N为图像下采样参数的最大值；f_R(I；θ)分别为所述预测反射图，为预测背景图像的梯度的模，为预测反射图像的梯度的模；

所述生成网络的联合损失函数为L(θ)＝w₁L_feat(θ)+w₂L_adv(θ)+w₃L_excl(θ)；其中，L(θ)为所述联合损失函数，w₁、w₂和w₃分别为所述超列特征空间的重建损失函数、所述对抗损失函数和所述分离损失函数对应的系数；

所述根据所述背景图像和所述反射图像的叠加，得到反光图像，具体包括：获取所述背景图像的第一灰度值；获取所述反射图像的第二灰度值；将所述第一灰度值和所述第二灰度值进行加权计算，得到所述反光图像；

所述鉴别网络的鉴别损失函数为L_disc(θ)＝logD(I；f_T(I；θ))-logD(I,T)；其中，L_disc(θ)为所述鉴别损失函数。

2.如权利要求1所述的单图像去反光的方法，其特征在于，所述VGG-19网络的卷积层包括conv1_2、conv2_2、conv3_2、conv4_2和conv5_2。

3.如权利要求1所述的单图像去反光的方法，其特征在于，所述生成网络包括卷积核为1×1的输入层和8个卷积核为3×3的空洞卷积层；其中，最后一层空洞卷积层利用线性变换产生两幅三通道的RGB图。

4.如权利要求1所述的单图像去反光的方法，其特征在于，所述选取多张反光图像进行去反光处理，以定量评估去反光效果，具体包括：

选取多张所述反光图像进行去反光处理，计算所述生成网络生成的所述预测背景图与所述背景图之间的峰值信噪比和结构相似性，以定量评估去反光效果。