[发明专利]一种基于深度信息的人脸活体识别方法、装置及电子设备

说明书

本发明公开了一种基于深度信息的人脸活体识别方法、装置及电子设备，方法包括：采集含有张嘴动作的第一视频，以及对应的深度图像组成的第二视频；基于第一视频，提取人脸图像特征；基于第二视频，提取深度图像特征；检测第一视频中的每帧图像的嘴巴区域，将嘴巴区域映射到对应的深度图像中，生成深度嘴巴图像对应的第三视频，基于第三视频，提取嘴巴区域图像特征；将人脸图像特征、深度图像特征、嘴巴图像特征进行加权融合，得到输入图像属于活体的概率得分；根据概率得分生成活体识别结果。本发明实施例可以将RGB时序信息和D深度信息两个重要的信息融合起来，提取到关键的有用特征，从而提高人脸活检的准确率和抗攻击能力。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度信息的人脸活体识别方法、装置及电子设备。

背景技术

随着技术的不断发展，人脸识别的应用场景越来越广泛，但同时网络黑产利用假人脸完成线上人脸识别造成客户损失的例子司空见惯。因此在各种业务场景下人脸识别的过程中对客户真实性、安全性和可信度的成了至关重要的问题。

在市场中存在较多的活体识别产品：动作活检、静默活体检测、脸部炫光活体检测等，但目前这些产品都存在着较明显的不足，只是利用了人脸二维的信息，丢失了人脸的第三维重要信息，同样也丢失了重要的时序特征。

因此现有技术中的人脸识别面临着各种恶意欺骗以通过验证的方法，例如通过打印翻拍照片、回放视频、佩戴3D面具等方式伪造身份信息，以得传统的人脸验证方法失效。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明提供了一种基于深度信息的人脸活体识别方法、装置及电子设备，旨在解决现有技术中通过伪造人脸攻击人脸验证，使得人脸验证失效的问题。

本发明的技术方案如下：

本发明第一实施例提供了一种基于深度信息的人脸活体识别方法，所述方法包括：

采集含有张嘴动作的第一视频，以及对应的深度图像组成的第二视频；

基于所述第一视频，提取人脸图像特征；

基于所述第二视频，提取深度图像特征；

检测第一视频中的每帧图像的嘴巴区域，将嘴巴区域映射到对应的深度图像中，生成深度嘴巴图像对应的第三视频，基于所述第三视频，提取嘴巴区域图像特征；

将人脸图像特征、深度图像特征、嘴巴图像特征进行加权融合，得到输入图像属于活体的概率得分；

根据所述概率得分生成活体识别结果。

进一步地，所述基于所述第一视频，提取人脸图像特征，包括：

基于所述第一视频，抽取N帧有人脸的人脸图像；

将N帧人脸图像输入训练好的分类模型；

根据分类模型的输出获取人脸图像特征；其中N为正整数。

进一步地，所述基于所述第二视频，提取深度图像特征，包括：

基于所述第二视频，抽取N帧人脸图像对应的深度图像；

将N帧深度图像输入训练好的分类模型；

根据分类模型的输出获取深度图像特征。

进一步地，所述基于所述第三视频，提取嘴巴区域图像特征，包括：

基于所述第三视频提取2N帧深度嘴巴图像；

将2N帧深度嘴巴图像帧输入到训练好的时序模型；

根据时序模型的输出获取嘴巴图像特征。