[发明专利]一种基于人脸深度信息和边缘图像融合的人脸防伪方法

说明书

本发明提出了一种基于人脸深度信息和边缘图像融合的人脸防伪方法，通过双流网络分别提取人脸图像的边缘信息和深度图信息，将两类特征进行融合后通过特征融合分类网络学习并分类。其中，Sobel算子用于人脸图像的边缘信息提取，PRNe被用于获取预处理后的活体对象的人脸的三维结构信息，随后采用Z‑Buffer算法投影得到对应的活体人脸深度标签。双流网络中的深度信息提取网络分支提取活体与非活体人脸的区分性深度信息，并采用加权矩阵和熵损失监督方式加强人脸区域与背景区域之间的深度区分性。与现有技术相比，本发明受图像质量、光照等因素影响小，改善了硬件提取深度信息成本高的问题，扩大了背景信息的特征并减弱了冗余噪声的学习。

技术领域

本发明涉及活体检测技术，特别涉及一种基于人脸深度信息和边缘图像融合的人脸防伪技术。

背景技术

随着人脸识别技术的应用领域越来越广泛，与之相关的各种挑战也逐渐显现，基于人脸生物特征的身份识别系统的安全性引起了大众的普遍关注。当恶意攻击者利用合法用户的人脸信息，以照片或者视频的形式来假冒用户身份时，系统可能会错误识别攻击用户，将其判别为合法，这将对身份安全造成严重威胁。在人脸识别系统中人脸防伪技术是系统安全性的保障。目前，关于人脸防伪技术的方法研究可以大致分为两大类：基于传统特征的方法以及基于深度神经网络的特征提取方法。基于传统特征的方法包括通过人脸图像纹理特征、人脸图像频域特征以及面部动作来进行分类判别。由于攻击人脸图像是通过二次采集得到的，相较于活体人脸图像会存在更多的噪声，因此在图片纹理信息以及高频信息部分会展现出具有区分性的线索。另外，通过眨眼、嘴唇动作等面部表情变化的交互方式也可以实现防伪判别。但是传统特征方法容易受到光照、图片质量的影响，涉及到交互判别的部分也容易被重放攻击识破。基于深度神经网络的特征提取方法包括提取人脸图像的多尺度特征信息、人脸局部的特征信息以及多帧图像的时序信息等等，这些方法重点考虑活体与攻击对象在人脸区域的细节区别，丢失了相关的背景信息。

发明内容

基于先验知识，重放攻击对象相较于活体存在深度信息缺失。活体对象具有三维人脸结构，在人脸的不同区域存在深度差异，而重放攻击对象以及打印攻击对象都是以平面的方式展现，表面深度基本无区分。由于现有的深度信息采集设备价格比较昂贵，本发明旨在通过深度学习的方法学习人脸深度信息的相关特征，提出通过学习策略的改进来加强人脸深度信息的区分性。

鉴于传统方法的局限性，本发明提出了一种基于人脸深度信息与边缘图像融合的人脸防伪方法，一方面通过加权学习的方式改进人脸深度信息网络，减小冗余噪声的学习；另一方面采用人脸边缘图像提取背景依赖信息，将人脸深度信息和边缘图像融合之后进行分类判别。本发明的目的通过以下技术方案实现：

步骤(1)，获取摄像头前的人脸视频图像帧，通过图像帧截取方法对视频人脸数据进行处理，并保存活体对象图片和攻击对象图片，活体对象的类别标签记为1，攻击对象的类别标签记为0；

步骤(2)，截取视频图像帧中的人脸区域，并剪裁获得以人脸为中心的多种尺度大小的人脸图像，将这部分人脸图像输入数据记为I；

步骤(3)，获取人脸深度图标签，包括步骤(2)中的活体人脸图像对应的深度图标签，以及攻击人脸图像的深度图标签；

步骤(4)，提取输入的人脸图像对应的边缘图特征；

步骤(5)，采用深度信息提取网络学习深度特征，并生成预估的深度图特征；

步骤(6)，联合人脸图像的深度图特征和边缘图特征，通过特征提取网络进行特征提取；

步骤(7)，使用全连接层进行特征降维，然后采用Softmax分类器，将特征提取网络的输出表征为不同类别之间的相对概率，进行最终的类别预测，全连接层和Softmax分类器共同构成特征融合分类网络层；