[发明专利]基于唇部纹理结构的数字识别方法

摘要

本发明公开了一种基于唇部纹理结构的数字识别方法，该方法包括：利用深度学习中卷积神经网络较强的特征提取能力以及长短时记忆网络对时序信息的处理能力，通过卷积神经网络和长短时记忆网络根据视频中对象的唇部运动识别数字。该方法对唇部图像的类内差异，头部姿势变化和非控制环境下的光照变化有较强的鲁棒性，有效地解决了唇语识别技术在交互式活体检测中识别精度不高的问题。该方法可被广泛应用于配有分辨率较高的摄像头的场景，如：中国金融系统的交互式活体检测等。

主权项

一种基于唇部纹理结构的数字识别方法，其特征在于，所述方法包括以下步骤：步骤S11：对包含单个数字的训练视频提取唇部运动视频帧，并进行人工标注；步骤S12：截取所述唇部运动视频帧中每帧图像的唇部运动图片；步骤S13：选取N个唇部运动图片样本送入基于卷积神经网络和长短时记忆网络的模型的特征提取功能模块，提取出每个样本所包含的唇部运动图片相对应的特征，组成特征序列；步骤S14：将所述步骤S13得到的特征序列送入基于卷积神经网络和长短时记忆网络的模型的感知机功能模块输出识别结果；步骤S15：计算识别结果与真实结果之间的误差，根据得到的误差训练所述基于卷积神经网络和长短时记忆网络的模型；步骤S16：重复步骤S13至S15，按顺序循环选取唇部运动图片样本序列，直至所述基于卷积神经网络和长短时记忆网络的模型收敛，得到所述基于卷积神经网络和长短时记忆网络的模型；步骤S21：对待识别视频提取唇部运动视频帧；步骤S22：截取所述步骤S21提取到的唇部运动视频帧中每帧图像的唇部运动图片；步骤S23：选取N个所述步骤S22得到的待识别唇部运动图片序列送入训练好的基于卷积神经网络和长短时记忆网络的模型的特征提取功能模块，提取出待识别视频所包含的唇部运动图片相对应的特征序列；步骤S24：将所述步骤S23中所得到的特征序列送入基于卷积神经网络和长短时记忆网络的模型的感知机功能模块输出识别结果。