[发明专利]一种基于人眼的人脸生成及其人脸识别方法

权利要求书

1.一种基于人眼的人脸生成及其人脸识别方法，其特征在于：包括以下步骤：

步骤一：人脸检测，即从原始图像中检测出人脸的位置并将其截取出来；

步骤二：人脸规范化，校正人脸在尺度、光照和角度的变化，并判断人脸是否存在遮挡，如果没有遮挡则跳到步骤四，有的话继续执行步骤三；

步骤三：从眼睛生成人脸，从规范化后的人脸图像中检测出人眼的位置，截取出眼睛的图像，通过一个基于对抗生成网络的眼睛——人脸生成(eyes2face)网络生成眼睛对应的人脸，网络结构是一个条件对抗生成网络(Generative Adversarial Network，GAN)，生成器为一个端到端的网络，从眼睛图像生成人脸，基于对抗生成网络的眼睛——人脸生成网络的训练及应用步骤如下：

(1)数据集制作，将数据集中的人脸归一化到W×W的尺寸，检测出其中的眼睛区域，将其截取出来；眼睛图像和对应的人脸图像即构成了一个端到端的神经网络的输入图像和标签图像；

(2)训练端到端的条件对抗生成网络，网络结构为：生成器(generator)是一个端到端的编解码(encoder-decoder)卷积神经网络，编码网络每层在原先的基础上尺寸减半，解码网络与其刚好相反，每层的特征图谱尺寸是原先特征图谱尺寸的两倍；输入输出都是W×W尺寸的图像；判决器(discriminator)是一个卷积神经网络；生成器的损失函数为feature损失、TV(Total Variation)损失和GAN损失三者的加权和，用于指导生成器的训练；训练过程在生成器和判决器两者的博弈下进行；生成器总的损失函数L_syn如下：

L_syn＝α₁L_feature+α₂L_G+α₃L_TV

其中L_feature是feature损失，L_G是条件GAN损失，L_TV则是TV损失，α₁、α₂和α₃分别为三个损失的权重；

L_feature通过将图像输入到一个预训练的模型VGG19，求其在Relu3-1、Relu4-1、Relu5-1三个特征图谱上平均损失的和，用公式定义如下：

其中W_i和H_i分别为各个特征图谱的宽和高，和分别为预测人脸图像和真实人脸图像的特征图谱(feature map)在坐标(x,y)的像素值；

L_TV用于训练能够使得生成图像的清晰度更高，其定义如下：

其中的y_i,j为图像y在坐标(x,y)的像素值，其他同理；

(3)用生成器部分进行测试，通过将眼睛图片输入到生成器就能生成与之对应的人脸图像；步骤四：人脸识别，将步骤三生成的人脸与数据库中的已知人脸进行比较，判断人脸的身份。

2.如权利要求1所述的一种基于人眼的人脸生成及其人脸识别方法，其特征在于：引入了从眼睛生成人脸的机制来解决人脸遮挡情况下的人脸识别问题，对于未遮挡的人脸则不需要进行眼睛——人脸生成这一步。

3.如权利要求1所述的一种基于人眼的人脸生成及其人脸识别方法，其特征在于：所述的W取值为256或128。

4.如权利要求1所述的一种基于人眼的人脸生成及其人脸识别方法，其特征在于：采用了feature损失对生成器的训练过程进行指导，能够使得生成器更好地学习到眼睛和人脸之间的映射关系，使得生成的人脸更加真实。