[发明专利]基于手势和语音识别控制的人机交互方法及其设备和应用

权利要求书

1.一种基于手势控制和语音识别控制的人机交互方法，其特征在于，包括步骤：

（1）通过跟踪手的位置进行空间三维精细定位；

（2）定位后通过识别的语音指令作为触发指令来触发相应事件，以避免触发相应事件时触发指令影响定位的稳定性。

2.如权利要求1所述的人机交互方法，其特征在于：步骤（2）中，还包括跟踪手的连续运动来识别出手势指令以触发相应事件。

3.如权利要求2所述的人机交互方法，其特征在于：步骤（2）中，还包括用识别到的语音指令和手势指令共同作为触发指令来触发相应事件。

4.如权利要求2所述的人机交互方法，其特征在于：步骤（2）中，所述手势指令包括手势组合指令。

5.如权利要求1所述的人机交互方法，其特征在于，还包括步骤：

（3）跟踪头部或眼睛的视线来变换场景渲染角度；

或

（3＇）跟踪头部或眼睛的视线来切换场景中虚拟摄像机的位置、角度。

6.一种实现权利要求1-5中任一种人机交互方法的设备，其特征在于，包括分别与中央处理器连接的：

摄像装置，跟踪手的位置并获得手的位置信息和/或跟踪手的连续运动；

定位装置，通过摄像装置跟踪手的位置得到的手的位置信息进行空间三维精细定位；

拾音装置，识别并获得语音指令；

触发装置，其中设有语音指令触发装置和/或手势指令触发装置，根据拾音装置识别得到的语音指令和/或摄像装置跟踪手的连续运动获得的手势指令来触发相应事件。

7.如权利要求6所述的设备，其特征在于：所述摄像装置为体感传感器或摄像头。

8.如权利要求6所述的设备，其特征在于：所述拾音装置为语音传感器或麦克风。

9.一种权利要求1-5中任一种人机交互方法在常用软件中的应用，其特征在于：通过手的定位来实现鼠标移动的功能，通过语音指令和/或手势指令来实现鼠标左右键的功能。

10.如权利要求9所述的应用，其特征在于：所述常用软件包括电子游戏软件。