[发明专利]使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画

权利要求书

1.一种头戴式显示器HMD，包括：

显示元件，被配置为向佩戴所述头戴式显示器HMD的用户显示内容；

光学块，被配置为将光从所述显示元件引导至所述头戴式显示器HMD的出射光瞳；

多个光源，放置在围绕所述光学块的离散位置处，所述多个光源被配置为照亮所述用户的所述头戴式显示器HMD内部的面部的部分；

面部传感器，被配置为捕捉通过所述多个光源中的一个或多个照亮的所述面部的部分的一个或多个面部数据；以及

控制器，被配置为：

从所述面部传感器接收多个捕捉的面部数据；

至少部分基于所述多个捕捉的面部数据识别所述面部的所述部分的多个表面；

检索多个地标，每个所述地标表示所述面部的不同特征的位置，所述多个地标是基于对应于由所述用户执行的用于校准处理的多个不同的面部表情的校准属性确定的；

检索全局校准属性，所述全局校准属性是基于许多用户执行的面部表情生成的；

响应于确定所述校准属性与所述全局校准属性之间的差异小于阈值：

将所述多个表面映射到所述多个地标中的一个；以及

至少部分基于所述多个捕捉的面部数据和所述映射生成描述所述用户的所述面部的所述部分的面部动画信息。

2.根据权利要求1所述的头戴式显示器HMD，其中，所述控制器进一步被配置为：

将指令提供给所述用户以执行所述多个不同的面部表情用于所述校准处理；

响应于所述用户执行所述多个不同的面部表情中的至少一个生成所述校准属性；并且

至少部分基于所述校准属性识别所述多个地标。

3.根据权利要求1所述的头戴式显示器HMD，其中，所述显示元件被配置为向所述用户显示化身，并且所述化身的面部基于所述面部动画信息。

4.根据权利要求1所述的头戴式显示器HMD，其中，所述控制器进一步被配置为：

使用所述多个捕捉的面部数据的像素值生成所述多个捕捉的面部数据的帧的坐标的强度曲线；以及

其中，识别所述面部的所述部分的所述多个表面包括使用所述强度曲线确定法向矢量。

5.根据权利要求1所述的头戴式显示器HMD，其中，所述多个捕捉的面部数据描述图像的帧，所述图像包括多个像素，每个像素与所述图像的坐标(x，y)位置相关联，并且其中，所述控制器进一步被配置为：

针对所述图像的每个坐标位置识别对应于所述坐标位置的最亮的像素值的平坦区域；

识别对应于所识别的平坦区域的中的每一个的光源位置；

至少部分基于所识别的平坦区域和所识别的光源位置生成所述面部的所述部分的虚拟表面；以及

其中，生成所述面部动画信息进一步基于所述虚拟表面。

6.根据权利要求1所述的头戴式显示器HMD，其中，所述控制器进一步被配置为：

将指令提供至所述多个光源以照亮所述面部的所述部分；并且

将与提供至所述多个光源的所述指令协调的指令提供至所述面部传感器，以捕捉所述一个或多个面部数据。

7.根据权利要求6所述的头戴式显示器HMD，其中，所述多个光源被放置在围绕所述光学块的环形布置中，并且其中，提供至所述多个光源的所述指令被协调为使得只有所述多个光源中的一个光源在任何给定时间照亮所述面部的所述部分。

8.根据权利要求1所述的头戴式显示器HMD，其中，所述控制器进一步被配置为：

从所述多个面部数据接收镜面反射信息；以及

至少部分基于所述镜面反射信息识别所述用户的眼睛的位置。

9.根据权利要求1所述的头戴式显示器HMD，其中，所述全局校准属性是从在线校准服务器检索的，并且其中，所述控制器进一步被配置为上传所述校准属性到所述在线校准服务器。