[发明专利]一种虚拟现实语言交互系统与方法

权利要求书

1.一种虚拟现实语言交互系统，其特征在于，包括：

图像采集模块，用于采集用户唇部动态图像；

唇语识别模块，用于基于采集的唇部动态图像识别出唇语信息；

VR交互系统，用于将识别出的唇语信息转换为虚拟角色的动作指令。

2.根据权利要求1所述的虚拟现实语言交互系统，其特征在于，所述图像采集模块包括以固定或可伸缩的方式安装在VR头戴显示器上的至少一个摄像头，摄像头采集的图像数据以有线或无线方式传输到唇语识别模块。

3.根据权利要求1所述的虚拟现实语言交互系统，其特征在于，所述图像采集模块包括在距离用户一定距离的正面和/或四周摆放的至少一个摄像头，摄像头采集的图像数据以有线或无线方式传输到唇语识别模块。

4.根据权利要求1所述的虚拟现实语言交互系统，其特征在于，所述唇语识别模块包括：

预处理单元，用于针对多帧连续的图像，确定图像的有效区域；

唇部区域检测单元，用于从有效区域中分离出唇部区域；

唇部运动特征提取单元，用于从唇部区域提取出唇部轮廓，确定唇部轮廓的特征点，通过跟踪多帧连续的图像的特征点识别出唇部运动特征；

唇语识别单元，用于根据唇部运动特征识别唇语信息。

5.根据权利要求1所述的虚拟现实语言交互系统，其特征在于，所述系统还包括：

VR渲染系统，用于根据最新变化的场景信息绘制最新输出信息；

输出通道，用于将输出信息在对应的通道输出展示给用户；

其他输入通道，用于采集其他类型的输入信息以供VR交互系统转换为虚拟角色的动作指令。

6.根据权利要求1所述的虚拟现实语言交互系统，其特征在于，所述输出通道包括：声音输出通道、显示输出通道以及其他输出通道。

7.一种虚拟现实语言交互方法，其特征在于，包括：

S1、图像采集模块采集用户唇部动态图像；

S2、唇语识别模块基于采集的唇部动态图像识别出唇语信息；

S3、VR交互系统将识别出的唇语信息转换为虚拟角色的动作指令。

8.根据权利要求7所述的虚拟现实语言交互方法，其特征在于，所述图像采集模块包括以固定或可伸缩的方式安装在VR头戴显示器上的至少一个摄像头，摄像头采集的图像数据以有线或无线方式传输到唇语识别模块。

9.根据权利要求7所述的虚拟现实语言交互方法，其特征在于，所述图像采集模块包括在距离用户一定距离的正面和/或四周摆放的至少一个摄像头，摄像头采集的图像数据以有线或无线方式传输到唇语识别模块。

10.根据权利要求7所述的虚拟现实语言交互方法，其特征在于，步骤S2包括：

S21、预处理单元针对多帧连续的图像，确定图像的有效区域；

S22、唇部区域检测单元从有效区域中分离出唇部区域；

S23、唇部运动特征提取单元从唇部区域提取出唇部轮廓，确定唇部轮廓的特征点，通过跟踪多帧连续的图像的特征点识别出唇部运动特征；

S24、唇语识别单元根据唇部运动特征识别唇语信息。