[发明专利]基于参考图像的图像眼睛自动打开方法及装置

权利要求书

1.一种基于参考图像的图像眼睛自动打开方法，其特征在于，包括如下步骤：

1)收集包含参考图像的面部图像数据集；深度网络不仅基于训练集中的单一数据生成图像，而且还借助相关面部图像的另一张参考图像指导生成器网络生成图像；

2)将输入图像中的眼睛区域擦除，联合参考图像输入至生成器网络，对图像进行补全；计算补全后的图像与真实图像之间的内容/重构损失，通过反向传播算法计算生成器网络参数的梯度，优化生成器网络；同时将补全后的图像以及参考图像分别输入至感知损失计算网络，用感知损失对生成器网络的参数进行更新；最后用补全后的图像、参考图像计算鉴别器参数的梯度优化判别器网络，并通过生成器网络反向传播鉴别器的误差；

3)待损失下降到一定程度时，在所述测试数据集上，对网络进行测试，选取最优的所述生成模型。

2.根据权利要求1所述的基于参考图像的图像眼睛自动打开方法，其特征在于，

当进行面部补全时，参考图像是同一人在不同时间和不同姿势下拍摄的头像；所述面部图像为人的面部图像即人脸图像，所述眼睛为人眼。

3.根据权利要求2所述的基于参考图像的图像眼睛自动打开方法，其特征在于，

采用输入图像以及参考图像作为额外的条件变量，指导生成器网络进行有条件约束的图像生成，生成判别损失公式如下：

其中，L_cGAN(G，D)为生成判别损失，G表示生成器网络，D表示判别器网络，x为输入图像，z为参考图像，p_data(x)，p_z(z)分别代表输入图像x的分布和参考图像z的分布，即x服从p_data(x)分布，z服从p_z(z)分布；G()表示生成即补全眼睛后的图像，D()表示判别真伪的结果；min_Gmax_D表示生成器网络损失最小，而判别器网络鉴别赝品即生成图像的能力最大；E表示分布函数，log为对数函数；生成器网络的目标是将生成对抗损失最小化，判别器网络的目标是将其最大化。

4.根据权利要求2所述的基于参考图像的图像眼睛自动打开方法，其特征在于，

采用生成图像和真实图像间的L1损失计算作为内容损失，用L_L1表示，计算公式如下：

其中p_data(x)，p_z(z)和p_data(y)分别代表输入图像x的分布，参考图像z的分布，以及目标图像y的分布，p_data(x，y)代表输入图像x和目标图像y的分布，即x、y服从p_data(x，y)分布，z服从p_z(z)分布；y为目标图像；G()表示生成即补全眼睛后的图像；|| ||₁表示1范数。

5.根据权利要求2所述的基于参考图像的图像眼睛自动打开方法，其特征在于，

采用训练好的VGG-16网络计算感知损失，每次训练中随机选取三层从补全图像和参考图像抽取出来的特征矩阵，计算每个特征矩阵之间的L1距离，且累加三组特征的损失作为感知损失；感知损失计算公式如下所示：

L_perceptual表示感知损失；其中p_data(x)，p_z(z)分别代表输入图像x的分布，参考图像z的分布，即x服从p_data(x)分布，z服从p_z(z)分布；G()表示生成即补全眼睛后的图像；|| ||₁表示1范数，φ_i()表示感知网络第i层上的特征表示。