[发明专利]一种基于深度学习的汉语普通话唇语识别方法

说明书

本发明公开了一种基于深度学习的汉语普通话唇语识别方法，考虑到汉语语言结构的特点，采用了编码器‑解码器的算法架构，为了具有通用性和扩展性，使用卷积神经网络提取视频特征，编码器与解码器的子单元采用循环卷神经网络，汉语普通话标签采用词嵌入的编码方式，为了唇语算法识别的准确性，在编码器‑解码器输出部分添加注意力机制。本发明以汉语普通话句子级唇语识别为研究对象，通过分析影响唇语识别的制约因素，在建立的唇语识别模型中针对性的添加解决方法，获得了可以实际应用的唇语识别技术，为更高准确度和更具扩展性的唇语解决方案提供理论和技术基础。

技术领域

本发明涉及计算机视觉和深度学习领域，特别涉及一种基于深度学习的汉语普通话唇语识别方法。

背景技术

唇语识别是一种在不借助语音信息帮助的前提下，通过唇部、脸部和舌部运动的视觉特征翻译理解说话人信息的技术，其还也依赖于语境提供的信息，语言知识。唇语也被称为视觉语言，也即基于说话时唇部运动的模式识别。

传统的唇语识别方法大多采用人工提取唇部的低级或高级特征，之后将得到的特征送到特征分类器，如SVM，Adaboost等，进行词语级别的分类。这样的方法尽管计算量小，但是受制于人工提取特征这一非常具有技巧性的过程，实际表现中容易受到光照，投射变换等的影响。另外，进行简单词分类的唇语识别，在实际应用场景中局限性较多，不能满足真实场景中多变的语言环境。

唇语识别是计算机视觉和人机交互领域重要的研究课题，借助唇部特征的辨识，可将其应用在后天聋哑人士的语言功能恢复、刑事侦查、身份认证等领域。目前大量的安防监控摄像头只有视频而没有音频信息，采用唇语辅助技术可以获得许多单纯依靠视频无法得到的信息。另外，唇语识别技术也可以解决嘈杂环境下音频识别准确度不高的问题。所以唇语识别技术在军事、工业、民用领域都有重要的实践意义。

发明内容

本发明的目的是克服现有技术中的不足，提供一种基于深度学习的汉语普通话唇语识别方法，本发明以汉语普通话句子级唇语识别为研究对象，通过分析影响唇语识别的制约因素，比如：光照，边缘效应等，在建立的唇语识别模型中针对性的添加解决方法，获得了可以实际应用的唇语识别技术，为更高准确度和更具扩展性的唇语解决方案提供理论和技术基础。

本发明所采用的技术方案是：一种基于深度学习的汉语普通话唇语识别方法，包括以下步骤：

步骤1，基于原始数据建立唇读数据集；

步骤2，采用多阶段卷积神经网络提取唇读数据集中静默视频中说话人唇部区域，并采用时空卷积神经网络处理唇部区域得到静默视频序列的口型动作特征；同时，对唇读数据集中的细标签序列进行词嵌入处理得到向量形式的细标签序列；

步骤3，将静默视频序列口型动作特征和向量形式的细标签序列送入编码器-解码器，在编码器-解码器中，采用注意力机制使得解码器中的向量形式的细标签与编码器中的口型动作特征相对应，得到向量形式的细标签序列和静默视频序列口型动作特征对齐后的向量表示；

步骤4，采用多层感知器将步骤3得到的对齐后的向量表示转变成概率分布形式的结果，完成唇语识别网络的搭建；

步骤5，采用唇读数据集中的数据对唇语识别网络进行训练，得到唇语识别模型，唇语识别模型的输出为概率最大的细标签序列；

步骤6，对唇语识别模型进行测试，采用定向搜索技术改善步骤5得到的细标签序列，得到最佳的唇语识别结果。

进一步的，步骤1中，所述的唇读数据集建立方法为：

步骤1-1，使用基于梯度直方图的人脸检测算法处理原始视频的每一帧；相同的说话者使用KLT追踪器组织在一起；使用回归树集合从稀疏像素强度的子集中提取面部地标点，得到目标人说话视频片段；

步骤1-2，把步骤1-1得到的目标人说话视频片段平均分割成2秒一段的视频子序列，每段分割后的视频子序列均包含音频；