[发明专利]使用离轴相机的眼睛跟踪和注视估计

说明书

公开了与计算可穿戴设备的用户的注视向量有关的技术。可以通过第一和第二训练步骤来训练神经网络。神经网络可包括特征编码层集合和多个任务特定层集合，每个任务特定层集合对特征编码层集合的输出进行操作。在第一训练步骤期间，第一眼睛的第一图像可被提供给神经网络，可以使用神经网络来生成眼睛分割数据，并且可以训练特征编码层集合。在第二训练步骤期间，第二眼睛的第二图像被提供给神经网络，可以使用神经网络生成网络输出数据，并且可以训练多个任务特定层集合。

相关申请的交叉引用

本申请要求2019年8月19日提交的题为“EYENET:A MULTI-TASK DEEP NETWORKFOR OFF-AXIS EYE GAZE ESTIMATION AND SEMANTIC USER UNDERSTANDING(眼网：用于离轴眼睛注视估计和语义用户理解的多任务深度网络)”的美国临时申请No.62/888,953、2019年10月25日提交的题为“METHOD AND SYSTEM FOR PERFORMING EYE TRACKING USINGAN OFF-AXIS CAMERA(用于使用离轴相机执行眼睛跟踪的方法和系统)”的美国临时申请No.62/926,241以及2019年11月14日提交的题为“METHOD AND SYSTEM FOR PERFORMINGEYE TRACKING USING AN OFF-AXIS CAMERA(用于使用离轴相机执行眼睛跟踪的方法和系统)”的美国临时申请No.62/935,584的优先权的权益，其整体内容通过引用被并入以用于所有目的。

背景技术

现代计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实或者“VR”场景通常涉及数字或者虚拟图像信息的呈现而对于其他实际真实世界视觉输入不透明；增强现实或者“AR”场景通常涉及将数字或者虚拟图像信息呈现为对用户周围的实际世界的可视化的增强。

尽管在这些显示技术中取得了进步，但在本领域中仍需要与增强现实系统(特别是显示系统)有关的改进的方法、系统和设备。

发明内容

本公开一般涉及用于眼睛跟踪的系统和方法。更具体地，本公开的实施例提供了用于在头戴式虚拟现实(VR)、混合现实(MR)和/或增强现实(AR)设备中执行眼睛跟踪以用于注视估计的系统和方法。本公开的实施例使得能量和带宽高效的内容渲染的使用能够以对用户的需求有效且不突兀的方式驱动多焦点显示器。尽管本公开参考AR设备进行描述，但是，本公开可适用于计算机视觉和图像显示系统中的各种应用。

参考下面列出的一系列示例提供本发明内容。如下文所使用的，对一系列示例的任何引用将被理解为分离地对那些示例中的每一个的引用(例如，“示例1至4”将被理解为“示例1、2、3、或4”)。

示例1是一种训练神经网络的方法，该神经网络具有特征编码层集合和多个任务特定层集合，每个任务特定层集合对特征编码层集合的输出进行操作，该方法包括：执行第一训练步骤，包括：将第一眼睛的第一图像提供给神经网络；使用神经网络，基于第一图像生成眼睛分割数据，其中，眼睛分割数据包括将第一眼睛分割成多个区域；以及使用眼睛分割数据训练特征编码层集合；以及执行第二训练步骤，包括：将第二眼睛的第二图像提供给神经网络；使用特征编码层集合和多个任务特定层集合中的每一个，基于第二图像生成网络输出数据；以及使用网络输出数据训练多个任务特定层集合。

示例2是根据示例1的方法，其中，在第一持续时间期间执行第一训练步骤，以及在第一持续时间之后的第二持续时间期间执行第二训练步骤。

示例3是根据示例1的方法，其中，多个区域包括背景区域、巩膜区域、瞳孔区域、或虹膜区域中的一个或多个。

示例4是根据示例1的方法，其中，执行第一训练步骤还包括：使用所述眼睛分割数据，训练多个任务特定层集合中的单个任务特定层集合。