[发明专利]一种基于人眼的人脸生成及其人脸识别方法

说明书

本发明公开了一种基于人眼的人脸生成及其人脸识别方法，通过挖掘人眼和人脸的映射关系，仅利用人眼生成对应的相似度较高的人脸，并用于后续人脸识别。包括以下步骤：对原始图像进行人脸检测并裁剪出来，然后通过人脸规范化矫正人脸，之后检测人脸中的眼睛区域，将眼睛区域截取出来输入到eyes2face网络中得到对应的人脸，最后对生成的人脸进行人脸识别。其中eyes2face网络采用条件GAN网络结构，使用端到端网络来通过眼睛生成人脸，用feature损失来指导训练。本发明所述的基于人眼的人脸生成及其人脸识别方法能够较好地解决人脸识别中的遮挡问题，同时可以为重要场合的人脸识别提供参考，在公共安全领域、刑侦领域以及反恐等领域都有较广泛的应用前景。

技术领域

本发明设计了一种基于人眼的人脸生成及其人脸识别方法，涉及深度学习、计算机视觉技术领域。

背景技术

随着深度学习的快速发展，人脸识别技术取得了显著的进步。目前在公开的人脸库Labeled Faces in the Wild(LFW)上基于深度学习的方法已经取得了大于99％的识别率。但是在实际的应用中，由于光照、背景、遮挡等因素的干扰，识别结果还是不尽如人意。其中遮挡尤其是影响人脸识别率的关键因素。

而随着人们健康意识的日益提高，日常生活中戴口罩已经成为一个很流行的趋势。此外，在公共安全领域、刑侦领域和反恐等领域中，犯罪分子往往都会戴上口罩或者头套之类的东西来隐藏身份。这些因素都会对人脸识别造成很大的干扰，但是大多数情况下，不管怎么遮挡，眼睛总还是会暴露在外面。

现在的人脸识别方法主要有以下几种：

1、基于传统方法的人脸识别。传统方法是一个很广的范围，由于人脸识别这一计算机视觉领域由来已久，已经形成了众多的方法。但归根结底都可以归结为对人脸图像进行手动提取特征，然后进行匹配分类的过程。大致包括这些方法：(1)基于几何特征的人脸识别方法。(2)基于相关匹配的方法。包括模板匹配法和等强度线方法。(3)基于子空间方法。(4)基于统计的识别方法。主要方法包括：KL(Karhunen-Loeve)算法、奇异值分解(Singular Value Decomposition，SVD)、隐马尔可夫(Hidden Markov Model，HMM)法。(5)弹性图匹配方法。(6)混合方法。如K-L投影和奇异值分解相融合的分类判别方法、HMM和奇异值分解相融合的分类判别方法等。(7)基于三维模型的方法。

2、基于深度学习的人脸识别方法。由于深度学习的引入，人脸识别取得了显著的进展，目前基于深度学习的最好的方法在公开人脸库LFW上甚至已经超过了人类的识别率。通过梯度下降和反向传播机制，卷积神经网络(Convolutional Neural Network，CNN)能够自适应地学习卷积核的参数，这种特征提取的方式比起传统方法中人工设计的特征提取方式更为有效且更为科学。因而基于深度学习的人脸识别算法识别率比起传统方法有明显的提升。

虽然基于深度学习的方法比起传统方法已经有了较大提升，甚至在公开人脸数据集上取得了比人类更高的识别率，但是在公开数据集中的人脸往往都是质量比较好的，没有太大的倾斜(侧脸)或者遮挡情况。而在人脸识别的实际应用中，倾斜(侧脸)和遮挡是影响人脸识别的识别率的两大主要因素。最新的研究已经有人针对倾斜(侧脸)的问题进行研究，先通过侧脸生成正脸，再将正脸用于人脸识别，进一步提升了人脸识别的识别率。但是针对遮挡这一问题，目前还没有较好的解决方案。由于遮挡造成了人脸的部分特征缺失，使得常用的人脸识别算法在处理遮挡人脸时识别率都会有较明显的下降。

发明内容

本发明为解决上述问题提供了一种基于人眼的人脸生成及其人脸识别方法。由于对于大部分的遮挡情况，人的眼睛始终会露在外面。本发明由此设计了一种基于人眼的人脸生成及其人脸识别方法，通过挖掘人眼和人脸的映射关系，仅利用人眼生成对应的相似度较高的人脸，并用于后续人脸识别，能够在一定程度上解决人脸遮挡的情况，取得更好的人脸识别效果。

本发明通过以下技术方案来实现上述目的：