[发明专利]一种单图像去反光的方法、装置及存储介质

说明书

本发明公开一种单图像去反光的方法、装置及存储介质，该方法包括：通过人工拍摄获取背景图像和对应的反射图像，并根据背景图像和反射图像的叠加，得到反光图像；将反光图像输入到预训练的VGG‑19网络进行超列特征提取，得到特征集合；将特征集合输入到预设的生成网络中，得到预测背景图和预测反射图；将预测背景图和背景图像输入到预设的鉴别网络，以计算得到鉴别网络的鉴别损失函数；通过多次迭代计算，直至生成网络的联合损失函数和鉴别损失函数均收敛，完成生成网络和鉴别网络的训练；选取多张反光图像进行去反光处理，以定量评估去反光效果。本发明能提取图像的高层次感官信息加入生成对抗网络的训练，从而有效解决单图像的去反光问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种单图像去反光的方法、装置及存储介质。

背景技术

单张图像的反射去除，通常会利用预先设定的先验信息。首先，最常见的方式为利用自然图像梯度的稀疏特性寻找最小化的边缘和角点来分离图像的图层，例如利用梯度稀疏的约束结合拉普拉斯域的数据保真项来抑制图像反射。但是，这种方式依赖于低级启发式方法，在对于需要对图像的结果进行高等级分析等情况时受到限制。另外一种先验知识为反射层的图像通常是未聚焦的、平滑的。但基于这种假设的算法无法应用于反射图像也具有很强对比度的情况。这些方法均不能有效利用图像的高层次感官信息，且无法解决高对比度的反光图像的去反光问题。

发明内容

本发明实施例的目的是提供一种单图像去反光的方法、装置及存储介质，能有效提取图像的高层次感官信息加入网络训练，并结合生成对抗网络的优势，能有效解决单图像的去反光问题，对于高对比度的反光图像仍有满意的去反光效果。

为实现上述目的，本发明一实施例提供了一种单图像去反光的方法，包括以下步骤：

通过人工拍摄获取背景图像和对应的反射图像，并根据所述背景图像和所述反射图像的叠加，得到反光图像；

将所述反光图像输入到预训练的VGG-19网络进行超列特征提取，得到特征集合；

将所述特征集合输入到预设的生成网络中，得到预测背景图和预测反射图；其中，所述生成网络的联合损失函数包括超列特征空间的重建损失函数、对抗损失函数和分离损失函数；

将所述预测背景图和所述背景图像输入到预设的鉴别网络，以计算得到所述鉴别网络的鉴别损失函数；

通过多次迭代计算，直至所述联合损失函数和所述鉴别损失函数均收敛，完成所述生成网络和所述鉴别网络的训练；

选取多张所述反光图像进行去反光处理，以定量评估去反光效果。

优选地，所述根据所述背景图像和所述反射图像的叠加，得到反光图像，具体包括：

获取所述背景图像的第一灰度值；

获取所述反射图像的第二灰度值；

将所述第一灰度值和所述第二灰度值进行加权计算，得到所述反光图像。

优选地，所述VGG-19网络的卷积层包括conv1_2、conv2_2、conv3_2、conv4_2和conv5_2。

优选地，所述生成网络包括卷积核为1×1的输入层和8个卷积核为3×3的空洞卷积层；其中，最后一层空洞卷积层利用线性变换产生两幅三通道的RGB图。

优选地，所述生成网络的联合损失函数包括超列特征空间的重建损失函数、对抗损失函数和分离损失函数，具体包括：