[发明专利]一种虚拟现实语言交互系统与方法

说明书

一种虚拟现实语言交互系统与方法，系统包括：语音采集模块，用于周期性的采集音频信号；图像采集模块，用于实时采集用户图像；唇动识别模块，用于基于采集的图像识别出唇动特征；VR交互系统，VR交互系统，用于基于识别出的唇动特征从采集到的音频信号中筛选出有效的音频信号进行语音识别，从而确定虚拟角色的动作指令。本发明通过实时采集用户图像、周期性采集音频信号，基于采集的图像识别出唇动特征，最终基于识别出的唇动特征从采集到的音频信号中筛选出有效的音频信号进行语音识别，从而确定虚拟角色的动作指令，克服了VR头盔中语音输入的局限性，将语音输入与唇动特征相结合，可以准确识别重要声源的语音命令。

技术领域

本发明涉及虚拟现实自然交互技术领域，尤其涉及一种虚拟现实语言交互系统与方法。

背景技术

语言是人们自然交流中最有效的手段，在基于计算机的人机交互技术研究中语言交互已经达到实用状态，但是在很多场合语音输入具有很大的局限性，使用时不可避免的会遇到使用者语音与周围环境噪声、其他人员语音等噪音的混叠。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种虚拟现实语言交互系统与方法。

本发明解决其技术问题所采用的技术方案是：构造一种虚拟现实语言交互系统，包括：

语音采集模块，用于周期性的采集音频信号；

图像采集模块，用于实时采集用户图像；

唇动识别模块，用于基于采集的图像识别出唇动特征；

VR交互系统，用于基于识别出的唇动特征从采集到的音频信号中筛选出有效的音频信号进行语音识别，从而确定虚拟角色的动作指令。

在本发明所述的虚拟现实语言交互系统中，所述唇动识别模块包括：

预处理单元，用于针对多帧连续的图像，确定图像的有效区域；

唇部区域检测单元，用于从有效区域中分离出唇部区域；

唇动特征提取单元，用于从唇部区域提取出唇部轮廓，确定唇部轮廓的特征点，通过跟踪多帧连续的图像的特征点识别出唇动特征。

在本发明所述的虚拟现实语言交互系统中，所述VR交互系统包括：

启动单元，用于在语音采集模块采集到音频信号时，判断唇动识别模块是否识别出唇动特征，如果是则判断音频信号有效并触发语音识别单元工作，否则不作处理；

语音识别单元，用于对采集到的音频信号进行语音识别。

在本发明所述的虚拟现实语言交互系统中，所述VR交互系统还包括去噪单元，用于将音频信号中持续存在的低频声音作为环境噪音滤除后再送往语音识别单元进行语音识别。

在本发明所述的虚拟现实语言交互系统中，所述VR交互系统还包括：

有效时域确定单元，用于在每个音频采集周期内，基于唇动识别模块识别出的唇动特征，确定音频采集周期的有效时域，并通知语音识别单元对有效时域内的音频信号进行处理。

在本发明所述的虚拟现实语言交互系统中，所述唇动识别模块还包括唇语识别单元，用于根据唇动特征识别唇语信息；

所述VR交互系统包括还包括语义分析单元，用于对唇语识别单元识别出的唇语信息、语音识别单元的语音识别结果分别进行语义分析，并将唇语信息和语音识别结果两者中的语义分析结果更符合系统的语境的一个转化为虚拟角色的动作指令。

在本发明所述的虚拟现实语言交互系统中，

所述唇动识别模块还包括唇语识别单元，用于根据唇动特征识别唇语信息；