[发明专利]具有用于选通用户界面元素的个人助理元素的人工现实系统

说明书

描述了一种人工现实系统，其在人工现实环境中渲染、呈现和控制用户界面元素，并响应于检测到的用户的一个或更多个手势来执行动作。人工现实系统包括图像捕获设备、头戴式显示器(HMD)、用户界面(UI)引擎和渲染引擎。图像捕获设备捕获代表物理环境的图像数据。HMD输出人工现实内容，该人工现实内容包括助理元素。手势检测器从图像数据识别手势，该手势包括手的两个或更多个手指的抓握运动，以在对应于助理元素的位置处形成抓握构形，以及在抓握运动之后，手相对于助理元素的投掷运动。UI引擎响应于识别手势生成UI元素。

相关申请的交叉引用

本申请要求2019年6月7日提交的美国申请第16/435,094号的优先权，该申请的内容为了所有目的通过引用以其整体并入本文。

技术领域

本公开总体上涉及人工现实系统，例如虚拟现实、混合现实、增强现实和/或其他计算机介导的现实系统(computer-mediated reality system)，且更具体地，涉及人工现实系统的用户界面。

背景

人工现实系统正变得越来越普遍，应用于许多领域，诸如计算机游戏、健康和安全、工业和教育。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybridreality)、或其某种组合和/或衍生物。

典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可合并头戴式显示器(HMD)，该HMD由用户佩戴并且被配置为向用户输出人工现实内容。人工现实内容可包括完全生成内容或与捕获内容(例如，真实世界视频和/或图像)组合的生成内容。在操作期间，用户通常与人工现实系统交互，以选择内容、启动应用或以其他方式配置系统。

概述

总的来说，本公开描述了人工现实系统，更具体地，描述了用于在人工现实环境中呈现和控制用户界面(UI)元素的系统配置和技术。本公开的技术和系统配置的一些示例涉及响应于检测或识别到由用户执行的特定手势而调用UI元素。UI元素的调用在本公开中也被称为“触发(triggering)”UI元素或“选通(gating)”UI元素。这种UI元素的示例包括但不限于用户可选选项的菜单。本公开的各方面还涉及响应于检测到某些手势来修改当前渲染的UI元素，诸如通过响应于这些手势来改变UI元素的取向或数据粒度级别。

根据本发明的第一方面，提供了一种人工现实系统，包括：图像捕获设备，该图像捕获设备被配置为捕获代表物理环境的图像数据；头戴式显示器HMD，该HMD被配置为输出人工现实内容，该人工现实内容包括助理元素(assistant element)；手势检测器，该手势检测器被配置为从图像数据识别手势，该手势包括：手的两个或更多个手指的抓握运动(gripping motion)，以在对应于助理元素的位置处形成抓握构形(configuration)，以及在抓握运动之后，手相对于助理元素的投掷运动(throwing motion)；用户界面UI引擎，该用户界面UI引擎被配置为响应于识别手势而生成UI元素；以及渲染引擎，该渲染引擎被配置为将UI元素渲染为对人工现实内容的至少一些的叠加(overlay)。

抓握运动可以包括在对应于助理元素的第一部分的位置处的手的拇指和在对应于助理元素的第二部分的位置处的除拇指之外的手的至少一个手指。

助理元素的第一部分可以与助理元素的第二部分至少大致在直径上相对(diametrically opposed)。

投掷运动可以包括抓握构形的释放和手的屈曲(flexion)的组合。

投掷运动可以包括抓握构形的释放和手的手指中的至少一个手指的向外轻弹运动(flicking motion)的组合。