[发明专利]一种身份验证系统汉语唇语识别的工程优化方法

权利要求书

1.一种身份验证系统汉语唇语识别的工程优化方法，其特征在于，该方法包括以下步骤：

首先，在屏幕上显示便于唇语识别的口令，令被验证者朗读之，获取被验证者的唇动视频；

然后，提取唇动视频中的音频的MFCC特征向量，根据向量中的信息区分出元音和辅音，根据汉语一字一音的特征，将视频分成一字一段，并对唇动视频中人脸区域进行检测和唇部区域进行定位与提取；

最后，用RSNet分类网络对其进行分类，将分类的结果与口令及相比对，输出验证是否成功的信息。

2.根据权利要求1所述的身份验证系统汉语唇语识别的工程优化方法，其特征在于，所述唇语识别的口令中将“0”、“1”、“4”、“7”的数字从口令中剔除出去。

3.根据权利要求1所述的身份验证系统汉语唇语识别的工程优化方法，其特征在于，所述将视频分成一字一段是通过检测元音来进行音频分段，通过短时FFT计算，将音频随时间变化图细化成频谱图。

4.根据权利要求1所述的身份验证系统汉语唇语识别的工程优化方法，其特征在于，所述对唇动视频中人脸区域进行检测和唇部区域进行定位与提取的具体方法是：采用的是Dlib进行人脸68个关键点的检测；采用68特征点中的第49-68特征点对唇部区域进行定位，作为唇语识别的特征数据进行训练输入，之后将提取出的唇部区域进行统一化处理并将数据集预处理完毕。