[发明专利]融合通道注意力和选择性特征融合机制的唇语识别方法

说明书

本发明公开了一种融合通道注意力和选择性特征融合机制的唇语识别方法，包括：1、下载用于训练模型的数据集GRID，并对数据集进行预处理；2、搭建唇语识别网络，并选择合适的目标函数来优化模型参数；3、采用相应的评估指标来评价模型的效果；4、用训练好的模型对视频进行唇语识别。本发明使用堆叠的3D卷积神经网络、选择性特征融合网络、双向GRU网络对输入视频帧进行编码，其中每层3D卷积层之间加入通道注意力机制，最后采用CTC解码器来生成输出文本，可以更好的学习说话者嘴唇区域特征，从而实现更准确的唇读效果。

技术领域

本发明属于计算机机器学习与人工智能技术领域，主要涉及一种深度神经网络的唇语识别方法。

背景技术

唇语在人类交流和言语理解中起着至关重要的作用，然而据研究表明，人类的唇读能力很差。良好的唇语识别技术可以是基于音频的语音识别的一种补充，可用于改进助听器，改善无声、安全、嘈杂环境中的语言信息的获取等，具有巨大的实用性，因此成为日益受到关注的领域。深度学习出现之前，唇读的大部分工作都是基于手工设计的特征学习的，这类方法计算量大且准确度较低。近几年不断发展的深度学习方法被用于提取说话人嘴唇区域的静态特征或用于构建端到端的体系结构。3D卷积神经网络能够有效学习嘴唇部分的运动信息；循环神经网络可以更好处理序列的信息；CTC(Connectionist TemporalClassification)训练方式可以消除输入与目标输出对齐的需要，使得序列建模得以端到端的方式进行训练。在这些深度学习方法基础上，唇语识别技术取得了很大的进展。

根据建模任务是对单词或音素分类还是预测完整的句子序列，唇语识别可分为单词级别和句子级别两类。单词级别的唇语识别方法只对单个孤立的单词进行预测，预测对象通常为0.5s左右的短视频，忽略了上下文对单词预测提供的信息，而句子级别的唇语识别方法预测对象可以是几秒甚至更长视频片段，并且能够充分利用上下文信息帮助预测单词，后者表现出更大的实际意义。近年来，单词级别的唇语识别方法发展迅速，对于单个单词分类的准确率可以达到86％以上(在LRW数据集上)。而对于完整句子序列预测的句子级别唇语识别方法的研究相对较少，且现有的模型对嘴唇区域部分特征提取不够充分，唇语识别的准确率仍然较低，存在可以改进的地方。

发明内容

针对上述现有的唇语识别中存在的相关问题，本发明提出一种融合通道注意力和选择性特征融合机制的唇语识别方法，以期能更好提取说话者嘴唇区域特征，从而实现更准确的唇读，达到更好的唇语识别效果。

本发明为解决技术问题采用如下技术方案：

本发明一种融合通道注意力和选择性特征融合机制的唇语识别方法的特点是按如下步骤进行：

步骤1、获取句子级别的唇语识别视频数据集，并对唇语识别视频数据集中的每个视频进行人脸特征检测，提取出嘴唇区域图像，从而得到每个视频的嘴唇区域图像集合，并构成嘴唇区域图像数据集L；

步骤2、将所述嘴唇区域图像数据集L划分为训练集L₁和测试集L₂，并将所述训练集L₁划分为多个批次，每个批次包含B个视频对应的嘴唇区域图像集合并作为B个训练样本；每个训练样本包含T帧嘴唇区域图像；每帧嘴唇区域图像的通道数为C、高为H、宽为W；

步骤3、将训练集L₁与测试集L₂中包含的每个视频的嘴唇区域图像集合所对应的真实文本分别记为G₁和G₂；

步骤4、构建融合通道注意力和选择性特征融合机制的唇语识别网络；

步骤4.1、构建融合通道注意力机制的前端网络HN；