[发明专利]一种基于深度学习的汉语普通话唇语识别方法

权利要求书

1.一种基于深度学习的汉语普通话唇语识别方法，其特征在于，包括以下步骤：

步骤1，基于原始数据建立唇读数据集：包括：

步骤1-1，使用基于梯度直方图的人脸检测算法处理原始视频的每一帧；相同的说话者使用KLT追踪器组织在一起；使用回归树集合从稀疏像素强度的子集中提取面部地标点，得到目标人说话视频片段；

步骤1-2，把步骤1-1得到的目标人说话视频片段平均分割成2秒一段的视频子序列，每段分割后的视频子序列均包含音频；

步骤1-3，将步骤1-2分割后的视频子序列进行音频视频分离，得到音频序列和静默视频序列；使用语音转写服务将音频序列内容转写为对应的文字作为粗标签序列，将静默视频序列与粗标签序列进行对齐；

步骤1-4，将步骤1-3中语音转写后的粗标签序列进行分词，按词性得到含有空格的文本作为细标签序列；

步骤1-5，将步骤1-3得到的静默视频序列与步骤1-4得到的细标签序列对齐，并进行人工校验，得到唇读数据集；

步骤2，采用多阶段卷积神经网络提取唇读数据集中静默视频中说话人唇部区域，并采用时空卷积神经网络处理唇部区域得到静默视频序列的口型动作特征；同时，对唇读数据集中的细标签序列进行词嵌入处理得到向量形式的细标签序列；

步骤3，将静默视频序列口型动作特征和向量形式的细标签序列送入编码器-解码器，在编码器-解码器中，采用注意力机制使得解码器中的向量形式的细标签与编码器中的口型动作特征相对应，得到向量形式的细标签序列和静默视频序列口型动作特征对齐后的向量表示；

步骤4，采用多层感知器将步骤3得到的对齐后的向量表示转变成概率分布形式的结果，完成唇语识别网络的搭建；

步骤5，采用唇读数据集中的数据对唇语识别网络进行训练，得到唇语识别模型，唇语识别模型的输出为概率最大的细标签序列；

步骤6，对唇语识别模型进行测试，采用定向搜索技术改善步骤5得到的细标签序列，得到最佳的唇语识别结果。

2.根据权利要求1所述的一种基于深度学习的汉语普通话唇语识别方法，其特征在于，步骤2中，所述的词嵌入编码方式采用的是Word2vec，所述Word2vec采用Skip-Gram网络。

3.根据权利要求1所述的一种基于深度学习的汉语普通话唇语识别方法，其特征在于，步骤3中，所述的编码器-解码器采用基于长短时记忆网络的编码器-解码器。