[发明专利]头戴式显示器及用于确定佩戴其的用户的视线的方法

说明书

本公开涉及头戴式显示器及用于确定佩戴其的用户的视线的方法。虚拟现实(VR)或增强现实(AR)头戴式显示器(HMD)包括位于HMD内的多个图像捕获设备，以捕获佩戴HMD的用户面部的部分。来自图像捕获设备的图像包括用户的眼睛，而来自另一图像捕获设备的另外图像包括用户的另一只眼睛。将图像和另外图像提供给控制器，控制器将训练的模型应用于图像和另外图像以生成识别用户头部的位置和用户眼睛的位置以及用户的每只眼睛的定位的矢量。此外，当用户佩戴HMD时，照亮包括在图像中和另外图像中的用户面部的部分的照明源被配置为防止图像和另外图像的过饱和或欠饱和。

本申请是申请日为2019年5月10日，申请号为201910389427.8，发明名称为“头戴式显示器及用于确定佩戴其的用户的视线的方法”的申请的分案申请。

技术领域

本公开总体涉及头戴式显示器，并且更具体地，涉及确定佩戴头戴式显示器的用户的视线。

背景技术

虚拟现实系统通常包括向用户呈现内容的显示器。例如，许多虚拟现实或增强现实系统包括头戴式显示器，该头戴式显示器包括向用户呈现图像或视频数据的显示元件。由虚拟现实系统呈现的内容描绘系统的对象和用户。

许多虚拟现实系统呈现虚拟环境中的用户的图形表示或头像以促进用户之间的交互。然而，传统的虚拟现实系统提供用户的有限图形表示。例如，在许多传统虚拟现实系统中表示用户的头像具有单个面部表情，诸如默认微笑或中性面部表情、或有限的一组面部表情。虚拟现实系统中的头像所显示的这些有限的面部表情经常使用户在虚拟环境中具有完全身临其境的体验。

当用户与虚拟现实系统或增强现实系统交互时跟踪用户的面部可以通过允许由虚拟现实系统或增强现实系统呈现的内容来复制用户的面部的移动来提供更加身临其境的界面，从而提供为用户提供更加身临其境的体验。然而，传统的面部跟踪系统通常包括专用外围设备，诸如相机，以及位于被跟踪的用户的面部和身体上的标记。使用标记和另外外围设备会将用户与所提供的虚拟环境分开，并且不适合用于便携式、轻便且高性能的虚拟现实头戴设备。

此外，在用于呈现虚拟现实或增强现实内容的头戴式显示器中包括眼睛跟踪系统允许头戴式显示器呈现的内容向佩戴头戴式显示器的用户提供更多身临其境的内容。例如，由头戴式显示器提供给用户的内容是凹的，因此对应于用户的视线方向的内容的部分呈现出比呈现内容的其他部分更高的分辨率。然而，许多传统的视线跟踪系统依赖于用户眼睛的高分辨率图像，其中捕获图像中的大量像素包括用户的眼睛。包括专用于用户眼睛的图像的图像捕获设备对于包括捕获关于佩戴头戴式显示器的用户面部的信息的其他设备的头戴式显示器来说通常是不实际的。

发明内容

虚拟现实(VR)或增强现实(AR)头戴式显示器(HMD)包括具有互补视场和不同深度的多个图像捕获设备。定位一个或多个图像捕获设备以捕获HMD底侧外部的用户面部的部分的图像。此外，定位一个或多个另外图像捕获设备以捕获HMD内用户面部的其他部分的图像。在各种实施例中，左图像捕获设备位于HMD内并且靠近HMD的左侧并且捕获用户面部的部分的图像。右图像捕获设备也位于HMD内并且靠近HMD的右侧并且捕获用户面部的另外部分的部分。此外，中央图像捕获设备位于对应于用户眼睛定位的位置的HMD的出射光瞳之间，并且捕获用户面部的中心部分的图像。因此，左图像捕获设备、右图像捕获设备和中央图像捕获设备各自捕获由HMD包围的用户面部的部分的图像。

在各种实施例中，由左图像捕获设备捕获的图像包括用户的左眼，并且由右图像捕获设备捕获的另外图像包括用户的右眼。左图像捕获设备和右图像捕获设备耦接到控制器，该控制器接收来自左图像捕获设备的图像和来自右图像捕获设备的另外图像。控制器将训练模型应用于生成描述佩戴HMD的用户头部的位置的矢量的图像和另外图像。在各种实施例中，训练模型是经训练的卷积神经网络。因此，由训练模型生成的矢量识别相对于用户头部的位置的用户左眼和用户右眼的定位。