[发明专利]一种基于Kinect的多模态人机交互系统

说明书

本发明公开一种基于Kinect的多模态人机交互系统，实现步骤如下:构建能接受Kinect获取到的多模态数据的数据采集系统；进行声学模型与语言模型的单音素训练，得到声学识别模块；利用采集到彩色图数据建立用于训练机器学习的唇动数据集；使用基于残差神经网络的卷积神经网络的模型训练方法，利用唇动数据集训练唇读识别模型；数据采集系统、语音识别模型和唇读识别模型整合在一起，构建一个多模态的人机交互系统；本发明的多模态的人机交互系统增强了语音识别的鲁棒性。

技术领域

本发明涉及语音识别，人机交互技术领域，特别是涉及一种基于Kinect的多模态人机交互系统。

背景技术

语音识别属于模式识别的一种，计算机通过给定的输入语音进行信息查找，有语音转文本，身份识别等，和图像识别一样，在人机交互中有着广泛的应用。语音识别系统根据说话的方式来分，可与分为孤立词识别系统和连续词识别系统。孤立词的语音数据单位为单个词语，在采集数据时，是以一个词一个词的方式来录音的，词与词之间有着明显的停顿。相对的连续词是对连续的词语进行识别。现有孤立词识别系统在识别结果上尚需要进一步改进。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于Kinect的多模态人机交互系统,对于用户说出的命令词，在纯净环境下(无噪声环境)能够通过语音识别出命令词，在带噪环境下能够通过语音和唇读识别得到命令词的识别结果,特别是通过识别唇部变化来提高语音识别的准确度，增强语音识别的鲁棒性。

为实现本发明的目的所采用的技术方案是：

一种基于Kinect的多模态人机交互系统，实现步骤如下:

S1.构建能接受Kinect获取到的多模态数据的数据采集系统；

S2.使用基于Kaldi的开源语音识别工具集编写训练脚本，对采集到的音频数据提取特征向量，进行声学模型与语言模型的单音素训练，得到最终的声学识别模块；

S3.利用采集到彩色图数据建立用于训练机器学习的唇动数据集；

S4.使用基于残差神经网络的卷积神经网络的模型训练方法，利用唇动数据集训练唇读识别模型，获得最终唇读识别模块；

S5.将数据采集系统、语音识别模型和唇读识别模型整合在一起，构建一个多模态的人机交互系统。

其中，唇动数据集的训练使用Python语言的Pytorch模块搭建LSTM网络进行；该网络包括：

第一处理部，用于数据预处理，输入的张量为1x40x112x112,通过不断的卷积和池化，将张量转化为64个特征图，所述特征图的时空三个维度长都相等；

第二处理部，采用ResNet34层模型，能将输入转为一维512的张量，将唇动的特征进行进一步的筛选；

第三处理部，是一个双层双向长短期存储网络，最终再使用SoftMax层对于输入进行分类，实现了对于唇动数据集的n分类。

其中，所述的将数据采集系统、语音识别模型和唇读识别模型整合在一起的步骤是：

通过WPF框架开发一个用户控制台，通过该用户控制台实现对数据采集系统、语音识别模型和唇读识别模型的控制：识别处理时，系统对于用户读出的限定词进行音频和图像的录制并存储到本地，进行数据转换，将图像和音频转为模型能够接收的数据类型，并将数据分别输入到声学识别模块和唇读识别模块中得出识别结果，系统将语音识别的结果和唇读识别的结果遍历限定词分别计算出最高的相似度作为置信度，选择置信度高的作为多模态识别的最终结果。

本发明对于用户说出的命令词，在纯净环境下(无噪声环境)能够通过语音识别出命令词，在带噪环境下能够通过语音和唇读识别得到命令词的识别结果,特别是通过识别唇部变化来提高语音识别的准确度，增强语音识别的鲁棒性。