[发明专利]使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画

说明书

VR系统中的头戴式显示器(HMD)包括用于跟踪佩戴HMD的用户的眼睛和面部的传感器。VR系统记录校准属性，诸如，用户的面部的地标。光源照亮由HMD覆盖的用户的面部的部分。结合地，面部传感器捕捉面部数据。VR系统分析面部数据以确定面部的照亮部分的平坦区域的方位。VR系统集合面部的平坦区域并且将平坦区域映射至面部的地标以生成用户的面部动画，该面部动画还可以包括眼睛方位信息。面部动画被表示为虚拟化身并且呈现给用户。面部跟踪系统生成佩戴头戴式显示器(HMD)的用户的面部的部分的虚拟渲染。面部跟踪系统照亮HMD内部的面部的部分。面部跟踪系统使用位于HMD内部的一个或多个面部传感器捕捉面部的部分的多个面部数据。至少部分基于多个面部数据识别面部的部分的多个平坦区域。多个平坦区域被映射至面部的一个或多个地标。至少部分基于该映射生成面部动画信息，该面部动画信息描述对应于用户的面部的部分的虚拟面部的部分。

技术领域

本公开内容大体上涉及头戴式显示器(HMD)，并且具体地涉及HMD内的眼睛和面部跟踪。本公开内容进一步涉及虚拟渲染，并且具体地涉及HMD内的用户的面部的部分的虚拟动画。

背景技术

虚拟现实(VR)系统一般包括呈现虚拟现实图像的显示屏幕，该虚拟现实图像可以描述诸如系统的目标和用户的元素。用户可以由虚拟环境中的化身表示。在一些VR系统中，仅利用一个面部表情(例如，默认微笑或中立的面部表情)描述化身，这防止用户在虚拟环境中具有完全沉浸式体验。面部跟踪系统提供更多沉浸式界面。除了必须放置在正在跟踪的用户的面部上的标记之外，跟踪用户的面部表情的现有系统包括专用的外围设备，诸如，相机。这些传统的外围设备和标记使用户与虚拟环境人为地分开。因此，现有的面部跟踪系统不适于在便携式的、轻便的且高性能的虚拟现实头戴耳机中使用。

发明内容

根据一个实施方式，VR系统中的头戴式显示器(HMD)包括用于跟踪佩戴HMD的用户的眼睛和面部的传感器。VR系统记录校准属性，诸如，用户的面部的地标。例如，地标描述用户的鼻子相对于用户的面部的位置。校准属性还可以从全局校准属性的在线数据库检索。HMD包括放置在HMD内部的面部传感器，并且在一些实施方式中，HMD还包括也放置在HMD内部的光源。光源照亮由HMD覆盖的用户的面部的部分。

结合地，面部传感器捕捉描述面部的照亮部分的面部数据。面部数据可以是称为面部数据帧的图像。在这种情况下，VR系统分析面部数据帧以确定面部的照亮部分的平坦区域(即，用户的面部的近似平面的小部分)的方位。具体地，VR系统使用像素亮度信息确定表面的方位。像素亮度取决于光源的位置和/或方位，因为当入射角等于反射角时反射光最亮。VR系统集合面部的平坦区域并且将平坦区域映射至面部的地标以生成描述用户的面部的面部动画信息。

根据又一实施方式，VR系统中的HMD包括用于跟踪HMD内的用户的面部的部分的面部跟踪系统。面部跟踪系统经由一个或多个光源照亮HMD内部的用户的面部的部分。面部跟踪系统捕捉面部的部分的多个面部数据。面部数据使用位于HMD内部的一个或多个面部传感器捕捉。面部传感器可以是成像传感器、非成像传感器、或者它们的组合。在一些实施方式中，面部跟踪系统至少部分基于多个面部数据识别面部的部分的多个平坦区域(即，用户的面部的近似平面的小部分)。面部跟踪系统可以将多个平坦区域映射至面部的一个或多个地标，并且至少部分基于该映射生成面部动画信息。面部动画信息描述用户的面部的部分(例如，在面部数据中捕捉的部分)。在其他实施方式中，面部跟踪系统将面部数据提供至例如生成面部动画的控制台。面部跟踪系统将面部动画提供至HMD的显示器以用于呈现给用户。

面部动画信息可以用于更新用户的虚拟化身的面部的部分。例如，用户在使用HMD时观看虚拟化身，并且因此体验沉浸式VR体验。VR系统还可以跟踪佩戴HMD的用户的眼睛。因此，面部动画信息可用于更新用户的虚拟化身的眼睛方位。