[发明专利]一种人机交互系统、方法及装置

说明书

技术领域

本发明涉及人机交互技术领域，尤其涉及一种人机交互系统、方法及装置。

背景技术

随着电子信息科学技术的发展，人与计算机的交互活动在人们的日常生活中占据了重要的地位，其中，结合虚拟现实技术利用人的动作进行人机交互活动也成为了人机交互活动的一个主要发展趋势。

现有技术中，结合虚拟现实技术进行人机交互活动时，用户需要与计算机直接接触，或者使用实体输入装置对计算机发出操作指令。比如，用户对计算机进行触摸操作，从而实现计算机的各种功能，或者，计算机连接有鼠标和键盘，用户利用鼠标和键盘对计算机发出操作指令，从而实现计算机的各种功能。但是，由于用户需要使用实体物理装置来操作计算机的方式较为复杂，使得用户进行虚拟现实技术的人机交互活动的操作便利性较低。

发明内容

本发明的目的在于提供一种人机交互系统、方法及装置，用于提高用户进行虚拟现实技术的人机交互活动的操作便利性。

为了实现上述目的，本发明提供如下技术方案：

第一方面，本发明提供了一种人机交互系统，包括：可穿戴设备和显示设备；

所述可穿戴设备包括图像采集模块、存储器、处理器、图像投射模块、信息发送接口；

所述图像采集模块连接所述处理器，用于采集用户的当前手势图像和所述显示设备的显示图像；

所述处理器连接所述存储器，用于将所述当前手势图像与所述存储器中预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令，根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；

所述图像投射模块连接所述处理器，用于投射出包括所述虚拟工具图像和所述显示图像的虚拟图像；

所述信息发送接口连接所述处理器，用于将所述控制指令发送给所述显示设备；

所述显示设备用于在接收到所述控制指令时，执行所述控制指令。

第二方面，本发明提供了一种人机交互方法，包括：

可穿戴设备采集用户的当前手势图像和显示设备的显示图像；

将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；

根据所述控制指令，生成与所述控制指令对应的虚拟工具图像，投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；

将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。

第三方面，本发明提供了一种人机交互装置，包括：

采集模块，用于采集用户的当前手势图像和所述显示设备的显示图像；

确定模块，用于将所述当前手势图像与预存的手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与所述手势类别对应的控制指令；

生成模块，用于根据所述控制指令，生成与所述控制指令对应的虚拟工具图像；

投射模块，用于投射出包括所述虚拟工具图像和所述显示设备的显示图像的虚拟图像；

发送模块，用于将所述控制指令发送给所述显示设备，使得所述显示设备执行所述控制指令。

本发明提供的人机交互系统、方法及装置中，采集用户的当前手势图像和显示设备的显示图像，将当前手势图像与手势数据库中的手势进行匹配，确定匹配的手势的手势类别，确定与手势类别对应的控制指令，生成与控制指令对应的虚拟工具图像，投射出包括虚拟工具图像和显示设备的显示图像的虚拟图像，并向显示设备发送控制指令，使得显示设备执行该控制命令，从而实现控制命令对应的功能。与需要利用物理实体装置实现人机交互活动的现有技术相比，本发明利用用户的手势就能生成控制指令，生成对应的虚拟工具图像，使用户能够看到包括虚拟工具图像和显示设备的显示图像的虚拟图像，并能利用控制指令控制显示设备实现对应的功能，不需要特意使用物理实体装置对显示设备进行操作，就能够实现虚拟现实技术的人机交互活动，提高了用户进行虚拟现实技术的人机交互活动的操作便利性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例一中人机交互系统的结构示意图；

图2为本发明实施例二中人机交互系统的结构示意图；

图3为本发明实施例三中人机交互方法的流程图；

图4为本发明实施例四中人机交互方法的流程图；