[发明专利]一种基于混合现实技术的虚拟物体交互方法

说明书

本发明涉及一种基于混合现实技术的虚拟物体交互方法，采用面向对象的菜单界面作为交互操作选择界面，包括步骤：(1)选择交互对象：采用眼动追踪方法获得用户当前凝视点；采用手势识别方法识别用户特定手势预定手势；使用主要交互手做出并保持特定手势预定手势，用于选择该虚拟物体作为交互对象；(2)进入菜单界面：使用未做出任意特定手势预定手势的次要交互手做出特定手势预定手势；(3)选择交互操作：通过移动主要交互手位置或改变主要交互手姿态，选择菜单界面中目标操作所对应的菜单选项；(4)进入操作界面：用户使用次要交互手做出特定手势预定手势，或使用主要交互手在相反方向上进行移动达到阈值，进入操作界面；步骤(5)完成交互操作。

技术领域

本发明涉及计算机图形交互技术领域，尤其是一种基于混合现实技术的虚拟物体交互方法。

背景技术

混合现实：混合现实技术(Mixed Reality)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

混合现实技术通过将计算机生成的虚拟信息叠加到真实场景中的方式，把物理世界与数字世界联系在一起。常见的混合现实设备包括智能手机、智能眼镜、混合现实头戴式显示器等。用户可以通过使用这些设备实现与虚拟物体或虚拟场景的直接交互。例如，用户可以做出预定手势的方式选择目标物体，并通过改变手部姿态的方式对目标物体执行旋转、平移、缩放等交互操作。

随着混合现实交互应用的增加，同一种手势或手部姿态在相同应用场景中可以表示的操作类型也在增多，用户在与虚拟物体进行交互时需要对当前所要执行的操作进行选择。混合现实菜单界面是一种常见的操作选择方式。现有的混合现实菜单界面主要面向操作，用户在使用菜单界面选择操作类型后可以选择虚拟物体执行已选择的特定的操作。

利用虚拟眼睛凝视互动袖标(Virtual Eye-gaze Interaction Armband，VEIA)交互技术，用户可以在虚拟前臂点击选项，以激活凝视+捏功能。VEIA交互利用用户身体的空间感进行有效的UI布局，当用户看前臂时，菜单会在0.5秒后逐渐出现。它提供了在不同的交互式工具和应用程序之间切换的顶级选项。这种放置方式不太容易分散注意力，并且可以让双手自由地进行主要的互动。VEIA的菜单设计基于3D标记菜单，扩展到凝视+捏输入方式。三维与二维标记菜单的优点是通过使用三维(即左、右、上、下、前、后)支持更多模式。

然而，进行连续的操作选择时需要改变当前手势，效率较低。

EyeSeeThrough技术利用眼睛跟踪和三维中对象和工具相对对齐的能力来合并操作物体过程中的操作选择和操作执行这两个步骤。用户通过视觉方式将工具与目标对齐，然后进行确认来应用工具。对齐基于视图中半透明层上显示的工具相对于背景中目标的显式移动。用户只需在将工具放置在目标上时查看目标，当用户确认对齐时，三维凝视光线确定工具和目标，并且在虚拟场景中执行动作。因此，两个连续的选择统一到一个交互中，类似于在执行射击任务中用户将枪的十字准线与目标对齐并触发动作。眼睛在视觉对齐任务中起着重要的作用。该技术通过在三维中观察用户的注视光线与物体和工具的交集，推断出工具和物体的对齐方式，从而隐式地使用注视进行交互。虽然凝视的使用类似于指向机制，但这种技术不需要用户在对象和工具之间移动眼睛，而是允许用户在对齐工具的同时保持对所需对象的视觉注意力。凝视是用来同时指向两个目标的，我们相信这会把额外的指向步骤转移到其他方式上，比如用手把工具带到视线上。然而该技术应用于虚拟现实环境而非混合现实环境；该技术需要额外的硬件支持。

发明内容

本发明所要解决的技术问题是：使用面向操作的菜单界面对虚拟物体进行操作缺乏连续性，用户在对单一虚拟物体执行一次包含多种操作的任务过程中需要多次对目标物体进行选择，造成执行任务的效率降低。