[发明专利]一种虚拟现实语言交互系统与方法

说明书

本发明公开了一种虚拟现实语言交互系统与方法，系统包括：图像采集模块，用于采集用户唇部动态图像；唇语识别模块，用于基于采集的唇部动态图像识别出唇语信息；VR交互系统，用于将识别出的唇语信息转换为虚拟角色的动作指令。本发明通过图像采集模块采集用户唇部动态图像，通过唇语识别模块基于采集的唇部动态图像识别出唇语信息，最终VR交互系统将识别出的唇语信息转换为虚拟角色的动作指令，由此，克服了VR头盔中语音输入的局限性，即使在嘈杂的环境或需要保持安静的环境中，语言交互也能适用。

技术领域

本发明涉及虚拟现实自然交互技术领域，尤其涉及一种虚拟现实语言交互系统与方法。

背景技术

语言是人们自然交流中最有效的手段，在基于计算机的人机交互技术研究中语言交互已经达到实用状态，但是在很多场合语音输入具有很大的局限性、或者根本无法应用，比如在嘈杂的环境或需要保持安静的环境中，语言交互就不适用。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种虚拟现实语言交互系统与方法。

本发明解决其技术问题所采用的技术方案是：构造一种虚拟现实语言交互系统，包括：

图像采集模块，用于采集用户唇部动态图像；

唇语识别模块，用于基于采集的唇部动态图像识别出唇语信息；

VR交互系统，用于将识别出的唇语信息转换为虚拟角色的动作指令。

在本发明所述的虚拟现实语言交互系统中，所述图像采集模块包括以固定或可伸缩的方式安装在VR头戴显示器上的至少一个摄像头，摄像头采集的图像数据以有线或无线方式传输到唇语识别模块。

在本发明所述的虚拟现实语言交互系统中，所述图像采集模块包括在距离用户一定距离的正面和/或四周摆放的至少一个摄像头，摄像头采集的图像数据以有线或无线方式传输到唇语识别模块。

在本发明所述的虚拟现实语言交互系统中，所述唇语识别模块包括：

预处理单元，用于针对多帧连续的图像，确定图像的有效区域；

唇部区域检测单元，用于从有效区域中分离出唇部区域；

唇部运动特征提取单元，用于从唇部区域提取出唇部轮廓，确定唇部轮廓的特征点，通过跟踪多帧连续的图像的特征点识别出唇部运动特征；

唇语识别单元，用于根据唇部运动特征识别唇语信息。

在本发明所述的虚拟现实语言交互系统中，所述系统还包括：

VR渲染系统，用于根据最新变化的场景信息绘制最新输出信息；

输出通道，用于将输出信息在对应的通道输出展示给用户；

其他输入通道，用于采集其他类型的输入信息以供VR交互系统转换为虚拟角色的动作指令。

在本发明所述的虚拟现实语言交互系统中，所述输出通道包括：声音输出通道、显示输出通道以及其他输出通道。

本发明还公开了一种虚拟现实语言交互方法，包括：

S1、图像采集模块采集用户唇部动态图像；

S2、唇语识别模块基于采集的唇部动态图像识别出唇语信息；

S3、VR交互系统将识别出的唇语信息转换为虚拟角色的动作指令。

在本发明所述的虚拟现实语言交互方法中，所述图像采集模块包括以固定或可伸缩的方式安装在VR头戴显示器上的至少一个摄像头，摄像头采集的图像数据以有线或无线方式传输到唇语识别模块。