[发明专利]一种身份验证系统汉语唇语识别的工程优化方法

说明书

本发明公开了一种身份验证系统汉语唇语识别的工程优化方法，包括以下步骤：首先，在屏幕上显示便于唇语识别的口令，令被验证者朗读之，获取被验证者的唇动视频；然后，提取唇动视频中的音频的MFCC特征向量，根据向量中的信息区分出元音和辅音，根据汉语一字一音的特征，将视频分成一字一段，并对唇动视频中人脸区域进行检测和唇部区域进行定位与提取；最后，用RSNet分类网络对其进行分类，将分类的结果与口令及相比对，输出验证是否成功的信息。本发明大大提高了唇语识别的便利性与准确度。

技术领域

本发明涉及唇语识别，尤其涉及一种身份验证系统汉语唇语识别的工程优化方法。

背景技术

目前，身份验证系统很少使用唇语识别技术。原因有三：

1、唇语识别的准确率不高。到目前为止，识别效率最高的方法是有Chung等人提出的，他们采用CNN并且加入RNN来构建WLAS网络，并在LRC数据及上进行评估，在一万条样本的句子识别率达到了46.8％。

2、唇语识别的训练集是视频，数据集占有空间庞大。训练模型需要占用很多的计算资源和存储资源。

3、唇形相近的字非常多导致唇语识别本身的难度就很大。唇语不像语音，许多音的唇形是非常相近的，比如“德”“特”这一组和“零”“一”“四”“七”这一组。用在语音识别上的办法是通过识别音素并将一个一个音素连接起来拼成打次和句子，但是这个方法在唇语上并不好用。人类都挺得懂语言，这有赖于语言发音的高辨识度。但是，就算是受过专业训练的人类唇语识别大师在有上下文的情况下的识别率也仅为50％。较多字符发音唇形相近造就了唇语识别的难度。

发明内容

发明目的：针对以上问题，本发明提出一种身份验证系统汉语唇语识别的工程优化方法，大大提高了唇语识别的便利性与准确度。

上述的目的通过以下技术方案实现：

一种身份验证系统汉语唇语识别的工程优化方法，该方法包括以下步骤：

首先，在屏幕上显示便于唇语识别的口令，令被验证者朗读之，获取被验证者的唇动视频；

然后，提取唇动视频中的音频的MFCC特征向量，根据向量中的信息区分出元音和辅音，根据汉语一字一音的特征，将视频分成一字一段，并对唇动视频中人脸区域进行检测和唇部区域进行定位与提取；

最后，用RSNet分类网络对其进行分类，将分类的结果与口令及相比对，输出验证是否成功的信息。

所述的身份验证系统汉语唇语识别的工程优化方法，所述唇语识别的口令中将“0”、“1”、“4”、“7”的数字从口令中剔除出去。

所述的身份验证系统汉语唇语识别的工程优化方法，所述将视频分成一字一段是通过检测元音来进行音频分段，通过短时FFT计算，将音频随时间变化图细化成频谱图。

所述的身份验证系统汉语唇语识别的工程优化方法，所述对唇动视频中人脸区域进行检测和唇部区域进行定位与提取的具体方法是：采用的是Dlib进行人脸68个关键点的检测；采用68特征点中的第49-68特征点对唇部区域进行定位，作为唇语识别的特征数据进行训练输入，之后将提取出的唇部区域进行统一化处理并将数据集预处理完毕。

有益效果：本发明与现有技术相比有以下几个显著优点：

1、本发明针对身份验证这一个特殊环境进行了唇语识别方法的工程优化，使得该方法在这一种特殊情境下准确率高、验证速度快。

2、操作便捷，用户只需读出屏幕上的数字即可通过验证。

3、本发明提出的这一种方法安全性非常高高。单纯的照片攻击无法通过唇语识别验证。视频攻击对本发明也是不奏效的，因为几位数字组成的方式很多，不可能通过录制几万条视频进行攻击。

附图说明