[发明专利]一种头戴显示设备多模交互方法及系统

说明书

本发明涉及头戴显示设备技术领域，尤其涉及一种头戴显示设备多模交互方法及系统。所述头戴显示设备多模交互方法，包括：S1、设备界面显示项目图标；S2、以语音方式输入需要目标项目执行的操作指令，语音指令转换成文字指令显示在设备界面；S3、与设备交互，将所述文字指令移动到目标项目图标处；S4、执行所述文字指令中的操作指令。本发明通过语音方式向头戴显示设备传达操作指令，方便用户快速输入操作指令并执行指令，降低系统的处理时间。本发明灵活运用语音交互、头动交互、眼动交互和手势交互等多种交互方式，充分发挥各交互方式的优点，能够快速准确地实现需执行的操作指令与目标项目之间的匹配，提升用户的体验度。

技术领域

本发明涉及头戴显示设备技术领域，尤其涉及一种头戴显示设备多模交互方法及系统。

背景技术

现有的近眼显示设备或头戴显示设备，如AR或VR设备等，如何实现用户与设备之间的交互是最重要的问题。现有的设备多是采用眼动追踪进行交互。目前的眼动追踪交互是基于眼动追踪装置捕获眼睛注视点坐标，将坐标位置映射在交互界面上，以光标形式呈现，用户通过眼睛视点移动控制光标选择目标，并通过眨眼动作或者其他辅助点击设备进行点击或进入下一步。现有的眼动追踪误差大，操作复杂，眼动追踪准确度不高，且单独使用眼睛交互与人们自然环境下的交互差异较大，不能更加真实的贴近自然交互。

发明内容

针对上述问题，本发明提供了一种将多种交互方式结合使用的头戴显示设备多模交互方法，可综合利用各种交互方式的优点，实现精准跟踪交互。

本发明的技术方案如下：

一种头戴显示设备多模交互方法，包括：

S1、设备界面显示项目图标；

S2、以语音方式输入需要目标项目执行的操作指令，语音指令转换成文字指令显示在设备界面；

S3、与设备交互，将所述文字指令移动到目标项目图标处；

S4、执行所述文字指令中的操作指令。

本发明将需要设备执行的指令先以语音指令传达给设备，然后将语音指令转换为相对应的文字指令，然后再与设备交互，选择目标项目执行所述文字指令中的操作指令。与设备交互的方式有很多种，本发明充分利用各交互方式的优点，将多种交互方式结合应用。例如，与设备交互的方式为眼动交互方式，或者眼动交互和头动交互配合，或者语音指令交互、眼动交互和头动交互配合，或者眼动交互、头动交互和手势交互配合。具体方式如下：

1、步骤S3所述的交互方式为眼动交互，通过跟踪眼球动作控制所述文字指令移动。

2、步骤S3所述的交互方式为眼动交互和头动交互配合，先跟踪头部动作将所述文字指令移动到目标项目图标周围，再跟踪眼球动作将所述文字指令移动到目标项目图标上。

3、步骤S3所述的交互方式为语音指令交互、眼动交互和头动交互配合，先输入语音指令，突出显示与语音指令相关联的图标，再跟踪头部或眼球动作将所述文字指令移动到目标项目图标上。

4、步骤S3所述的交互方式为眼动交互、头动交互和手势交互配合，按照手势交互优先于头动交互、头动交互优先于眼动交互的顺序，识别动作并跟踪，将所述文字指令移动到目标项目图标上。

进一步，采用手势交互时，在识别的手部位置和目标项目图标之间增加射线，用于直观显示选择项目的过程。

进一步，手势交互过程中，通过手部动作对选取的目标项目图标进行移动、旋转、调节大小、翻页或调节图标前后距离。

进一步，步骤S4目标项目执行所述文字指令的操作指令之后，向目标项目输入递进式的语音指令或文字指令，供目标项目继续执行。

一种头戴显示设备多模交互系统，包括：