[发明专利]一种头戴显示设备多模交互方法及系统

权利要求书

1.一种头戴显示设备多模交互方法，其特征在于包括：

S1、设备界面显示项目图标；

S2、以语音方式输入需要目标项目执行的操作指令，语音指令转换成文字指令显示在设备界面；

S3、与设备交互，将所述文字指令移动到目标项目图标处；

S4、执行所述文字指令中的操作指令。

2.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：步骤S3中与设备交互的方式为眼动交互方式，或者眼动交互和头动交互配合，或者语音指令交互、眼动交互和头动交互配合，或者眼动交互、头动交互和手势交互配合。

3.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：步骤S3所述的交互方式为眼动交互，通过跟踪眼球动作控制所述文字指令移动。

4.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：步骤S3所述的交互方式为眼动交互和头动交互配合，先跟踪头部动作将所述文字指令移动到目标项目图标周围，再跟踪眼球动作将所述文字指令移动到目标项目图标上。

5.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：步骤S3所述的交互方式为语音指令交互、眼动交互和头动交互配合，先输入语音指令，突出显示与语音指令相关联的图标，再跟踪头部或眼球动作将所述文字指令移动到目标项目图标上。

6.根据权利要求1所述的头戴显示设备多模交互方法，其特征在于：步骤S3所述的交互方式为眼动交互、头动交互和手势交互配合，按照手势交互优先于头动交互、头动交互优先于眼动交互的顺序，识别动作并跟踪，将所述文字指令移动到目标项目图标上。

7.根据权利要求5所述的头戴显示设备多模交互方法，其特征在于：采用手势交互时，在识别的手部位置和目标项目图标之间增加射线，用于直观显示选择项目的过程。

8.根据权利要求5所述的头戴显示设备多模交互方法，其特征在于：手势交互过程中，通过手部动作对选取的目标项目图标进行移动、旋转、调节大小、翻页或调节图标前后距离。

9.根据权利要求1-8所述的头戴显示设备多模交互方法，其特征在于：步骤S4目标项目执行所述文字指令的操作指令之后，向目标项目输入递进式的语音指令或文字指令，供目标项目继续执行。

10.一种头戴显示设备多模交互系统，其特征在于包括：

显示设备，用于显示交互界面和图标；

图像采集设备，用于采集用户的眼部、头部和/或手势动作；

语音采集设备，用于采集用户发出的语音指令并传输给处理器。

处理器，所述处理器与显示设备、图像采集设备、语音采集设备连接以获取所述用户的语音和动作指令，根据语音指令形成相对应的文字指令并显示在交互界面，跟踪用户动作在显示设备上移动所述文字指令到目标项目图标，执行所述文字指令中的操作指令。

11.根据权利要求10所述的头戴显示设备多模交互系统，其特征在于：所述处理器被配置为在识别用户动作时按照手势动作优先于头部动作、头部动作优先于眼球动作顺序识别。