[发明专利]一种人机交互系统、方法及装置

摘要

本发明公开一种人机交互系统、方法及装置，涉及人机交互技术领域，为解决用户进行虚拟现实技术的人机交互活动的操作便利性较低的问题。所述人机交互系统，包括可穿戴设备和显示设备；采集设备包括可穿戴设备包括用于采集用户的当前手势图像和显示设备的显示图像的图像采集模块、存储器、用于将当前手势图像与存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，根据控制指令，生成与控制指令对应的虚拟工具图像的处理器、用于投射出包括虚拟工具图像和显示图像的虚拟图像的图像投射模块和信息发送接口；本发明提供的人机交互系统用于人机交互活动。

主权项

一种人机交互系统，其特征在于，包括：可穿戴设备和显示设备；所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接口；所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像；所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像；所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备；所述显示设备用于在接收到所述控制指令时，执行所述控制指令；所述将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括，根据当前手势图像，获取当前手势图像的手势边缘轮廓和手势运动轨迹；判断当前手势图像的手势边缘轮廓和手势运动轨迹，与预存的手势的手势边缘轮廓和手势运动轨迹是否匹配；当匹配时，确定预存的手势的手势类别为当前手势图像对应的手势类别；当不匹配时，确定预存的手势的手势类别不是当前手势图像对应的手势类别；或者，所述将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，具体包括，根据所述当前手势图像，获取所述当前手势图像的手势边缘轮廓和手势运动轨迹，分别建立所述手势边缘轮廓和所述手势运动轨迹的特征向量；提取所述手势边缘轮廓和所述手势运动轨迹对应的特征向量的特征值；判断所述手势边缘轮廓和所述手势运动轨迹对应的特征值是否分别与预存的手势的手势边缘轮廓和手势运动轨迹手势的特征值匹配；当匹配时，确定所述预存的手势的手势类别为所述当前手势图像对应的手势类别；当不匹配时，确定所述预存的手势的手势类别不是所述当前手势图像对应的手势类别。