[发明专利]基于端到端深度神经网络的语音和人脸复合身份认证方法

说明书

本发明公开了一种基于端到端深度神经网络的语音和人脸复合身份认证方法，其包括采集文本相关语音信号和面部视频信号，提取语音声纹特征，提取多帧人脸特征，将语音声纹特征和多帧人脸特征进行连接得到身份特征向量，将身份特征向量进行降维处理，采用Triplets Loss方法进行身份识别。本发明通过结合语音和人脸特征进行身份认证，弥补单一特征带来的不足，可应用于门禁考勤和人机交互等场合，有效提高识别准确率。

技术领域

本发明属于身份识别技术领域，尤其涉及一种基于端到端深度神经网络的语音和人脸复合身份认证方法。

背景技术

随着人工智能技术的发展，人脸识别和声纹识别等身份验证手段已广泛用于智能安防领域。其中，Google公司开发的基于卷积神经网络的人脸识别模型FaceNet直接进行端到端学习一个从图像到欧式空间的编码方法，然后基于这个编码进行人脸识别、人脸验证和人脸聚类等。FaceNet在LFW数据集上，准确率为0.9963，在YouTube Faces DB数据集上，准确率为0.9512。百度公司开发的Deep Speaker由深度神经网络层组成，它使用MFCC、基于余弦相似性的时间池和三元组损失(triplet loss)代价函数，学习到了与语言无关的声纹特征。当在普通话语境下训练时，Deep Speaker却能在英文确认和识别的任务上达到5.57％的错误率和88％的正确率。上述两种方法是目前人脸识别和声纹识别领域最优秀的方法之一。但在实际工程运用中，应用环境的光照变化,人脸姿势等因素对人脸识别有较大影响，而说话者声道状态和环境噪声也对声纹识别有较大影响。

发明内容

本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明充分考虑工程应用环境的复杂性，提出了一种基于端到端深度神经网络的语音和人脸复合身份认证方法。

本发明的技术方案是：一种基于端到端深度神经网络的语音和人脸复合身份认证方法，包括以下步骤：

A、采集预先设定的文本相关语音信号，并同步采集待识别人的面部视频信号；

B、提取步骤A中文本相关语音信号的语音声纹特征；

C、提取步骤A中面部视频信号的多帧人脸特征；

D、将步骤B中语音声纹特征和步骤C中多帧人脸特征进行连接，得到身份特征向量；

E、将步骤D中身份特征向量进行降维处理；

F、根据步骤E中降维处理后的身份特征向量采用Triplets Loss方法进行身份识别。

进一步地，所述步骤B提取步骤A中文本相关语音信号的语音声纹特征，具体包括以下分步骤：

B1、对步骤A中文本相关语音信号进行预处理，得到MFCC特征向量；

B2、采用残差卷积深度神经网络ResCNN对步骤B1中MFCC特征向量进行声纹特征的提取。

进一步地，所述步骤B1对步骤A中文本相关语音信号进行预处理，得到MFCC特征向量，具体包括以下分步骤：

B11、对步骤A中文本相关语音信号进行预加重、分帧、加窗处理；

B12、对步骤B11处理后的每一帧文本相关语音信号进行快速傅里叶变换，计算频谱，得到幅度谱；

B13、对步骤B12中幅度谱进行Mel滤波处理；

B14、对步骤B13处理后的幅度谱作对数运算，再进行离散余弦变换得到MFCC特征向量；

B15、对步骤B14中MFCC特征向量进行去均值和方差并归一化处理。

进一步地，所述步骤C提取步骤A中面部视频信号的多帧人脸特征，具体包括以下分步骤：