[发明专利]一种新型的机器人带噪音语音识别装置及方法

说明书

本发明公开一种新型的机器人带噪音语音识别装置及方法，所述装置包括Kinect设备与仿人机器人；所述Kinect设备用于捕获3D唇部信息与视觉信息并处理；所述仿人机器人用于获取、处理音频信息，并最终融合多种策略。所述方法包括：S1,获取视频源；S2，3D投影法采集唇区，及获取音频信息；S3，3D数据重构侧唇，及提取音频特征；S4，进行多流特征融合；S5，使用HMM模型建模并得出结果。

技术领域

本发明涉及机器人语音识别技术，具体设计一种新型的机器人带噪音语音识别装置及方法。

背景技术

随着人机交互技术发展，机器人被期望能拥有像人类一样的感知能力并能与人类合作共事。为实现这一目标，一些研究者使用语音技术来让机器人理解人类的语言。

但是，运动状态中的机器人不可避免的会产生噪音，比如电动风扇和马达产生的噪音，因麦克风更靠近机器人，因此这些噪音相比用户的语言信息更易获取，造成了机器人语音识别效果不佳。

申请公布号为CN201610615354.6的发明专利公开了基于自然语言的机器人控制系统及控制方法，方法包括接收用户输入的自然语言声波信号；将自然语言声波信号转换为语言文字信息；对语言文字信息进行分析分解，信息分解结果为根据不同词性将所述语言文字信息分类而组合成的词语集合；根据预置的词汇库对所述词语集合进行语义匹配，获取所述词语集合的行为匹配结果；将行为匹配结果转换成语音输出；通过人机对话模式对行为匹配结果进行确认；对确认的行为匹配结果进行行为分解，并依照行为分解结果控制机器人的执行。

申请公布号为CN201410771233.1的发明专利公开了一种机器人语音识别方法，包含步骤1：打开音频传感器，采集音频信号；步骤2：对采集到的音频信号，进行模数转换；步骤3：将转换后代数字信号送人模式识别缓冲区；步骤4:对模式识别缓冲区中的信号按照振幅做离散化处理；步骤5：将按照振幅做离散化处理的数据，在模式识别数据库中进行匹配算法；步骤6：对所有命令依据匹配算法的结果进行概率运算；步骤7：按照概率从大到小的方式排序；步骤8：将概率最大的命令作为结果输出。

上述发明专利中，都是通过对音频信息进行加工处理，来提高语音识别效果，但噪音仍参与上述的加工处理过程，因此造成语音识别的效果仍然有较大误差。

发明内容

本发明目的在于克服传统方法中的不足，提供一种新型的机器人带噪音语音识别装置及方法。

本发明解决上述技术问题的技术方案为：

一种新型的机器人带噪音语音识别装置及方法，其中，所述装置包括Kinect设备与仿人机器人；其中，

所述Kinect设备用于捕获3D唇部信息与视觉信息并处理；所述仿人机器人用于获取、处理音频信息，并最终融合多种策略；

所述识别方法包括以下步骤：S1,获取视频源；S2，3D投影法采集唇区，及获取音频信息；S3，3D数据重构侧唇，及提取音频特征；S4，进行多流特征融合；S5，使用HMM模型建模并得出结果。

进一步地，本发明步骤S1中，获取视频源由Kinect设备获取。

进一步地，本发明步骤S2中，3D投影法采集唇区由Kinect的SDK提供的函数进行投影，并将唇区保存成32x 32像素；音频信息由机器人自带的麦克风矩阵获取，提取的特征为MFCCs特征。

进一步地，本发明步骤S3中，3D数据重构侧唇后，需将图片保存成bmp格式。

进一步地，本发明步骤S4中，进行多流特征是使用线性插值发完成音频和视频信息的匹配。

进一步地，本发明步骤S5中，通过HMM(出自论文《隐马尔可夫模型及其应用》，作者王志堂，蔡淋波，湖南科技学院学报，2009年04期)完成建模和识别效果。