[发明专利]与自然用户界面的双手交互

摘要

揭示了与自然用户界面的双手交互。例如，一个实施例提供了一种方法，该方法包括：通过由计算设备接收的图像数据来检测由用户的第一只手做出的上下文设置输入，并向显示器发送基于虚拟交互坐标系统定位的用户界面，该虚拟坐标系统基于用户的第一只手的位置来定位。该方法还包括通过由计算设备接收的图像数据检测由用户的第二只手做出的动作输入，该动作输入在用户的第一只手正做出上下文设置输入时做出，并且基于该上下文设置输入以及动作输入和虚拟交互坐标系统之间的交互来向显示器发送响应。

主权项

1.一种在头戴式显示系统上执行的方法，所述头戴式显示系统包括透视近眼显示器、一个或多个图像传感器、逻辑机和存储机，所述方法包括：从所述一个或多个图像传感器接收图像数据；通过接收到的图像数据来检测由用户的第一只手做出的上下文设置输入姿势以触发绘画程序的执行；向所述透视近眼显示器发送表示基于虚拟交互坐标系统定位的用于所述绘画程序的全息立体用户界面的数据，所述虚拟交互坐标系统包括基于所述用户的所述第一只手的位置来定位的基准平面；通过接收到的图像数据来检测所述第一只手做出改变了的上下文设置输入姿势，以触发所述绘画程序的子上下文以检测绘画输入；通过接收到的图像数据来检测由所述用户的第二只手相对于所述全息立体用户界面和相对于所述虚拟交互坐标系统的所述基准平面做出的绘画输入姿势，所述绘画输入姿势在所述用户的所述第一只手正在做出所述改变了的上下文设置输入姿势时做出；以及基于相对于所述虚拟交互坐标系统中的所述基准平面的所述绘画输入，在所述全息立体用户界面中显示绘画。