[发明专利]眼睛跟踪延迟增强

说明书

用于眼睛跟踪延迟增强的系统和方法。示例头戴式系统获得用户的眼睛的第一图像。第一图像作为输入被提供给机器学习模型，该机器学习模型已经被训练为在给定眼睛图像的情况下生成虹膜片段数据和瞳孔片段数据。获得眼睛的第二图像。基于针对第一图像所生成的虹膜片段数据，在第二图像中检测显示一个或多个亮斑的一组位置。基于针对第一图像所生成的瞳孔片段数据，识别显示用户的眼睛的瞳孔的第二图像的区域。基于在第二图像中所检测的一组亮斑位置和所识别的第二图像的区域，确定用户的眼睛的姿势。

通过引用并入

本申请通过引用并入以下每个专利申请的全部内容：2019年7月5日提交的序列号为62/871,009的美国临时专利申请；2019年12月9日提交的序列号为62/945562的美国临时专利申请。

技术领域

本公开一般上涉及用于处理眼睛影像并且更特别地用于使用级联形状回归估计包括瞳孔、虹膜或眼睑的详细的眼睛形状模型的系统和方法。

背景技术

人眼的虹膜可用作生物特征信息的来源。生物特征信息可以提供个人的认证或识别。生物特征信息可以另外地或可替代地用于确定眼睛的注视方向。

发明内容

描述了用于使用详细的眼睛形状模型的稳健生物特征应用的系统和方法。在一方面，在接收到眼睛的眼睛图像(例如，来自增强现实显示设备上的眼睛跟踪相机)之后，使用级联形状回归方法在眼睛图像中计算眼睛的眼睛形状(例如，上眼睑或下眼睑、虹膜或瞳孔的形状)。然后可以确定与估计的眼睛形状相关的眼睛特征并将其用于生物特征应用，诸如注视估计或生物特征识别或认证(例如，虹膜代码)。级联形状回归方法可以在一组注释的眼睛图像上进行训练，该图像标记例如眼睑、瞳孔、和虹膜的形状。

本说明书描述的主题的一个或多个实现方式的细节在附图和以下描述中阐述。其它特征、方面、和优点将从描述、附图、和权利要求中变得显而易见。该发明内容和以下详细描述均不旨在定义或限制本发明主题的范围。

附图说明

图1A示意性地说明示出示例眼睛特征的眼睛的示例。

图1B示出可用于测量相对于眼睛自然静止状态的眼睛姿势方向的三个角度(例如，偏航、俯仰、和滚动)的示例。

图2A示意性地示出可穿戴显示系统的示例。

图2B示意性地示出可穿戴显示系统的示例的俯视图。

图3是用于从眼睛图像中提取生物特征信息以用于生物特征应用的示例例程的流程图。

图4A示意性地示出详细的眼睛形状模型估计的示例进展。

图4B示意性地示出详细的眼睛形状模型的示例，其中，已经识别了瞳孔、虹膜、和眼睑的边界。

图4C是示出两对形状索引特征的示例的图像。

图5示出用于学习回归函数的一组注释的训练图像的示例。

图6是用于学习级联形状回归的眼睛形状训练例程的示例的流程图。

图7A示意性地示出假边界点的示例。

图7B示意性地示出选择性特征检测的示例。

图8是包括眼睛跟踪系统的可穿戴系统的示意图。

图9是可包括眼睛跟踪系统的可穿戴系统的框图。

图10是可包括眼睛跟踪系统的可穿戴系统的框图。

图11是示出用于以减少的延迟执行眼睛跟踪的示例过程的流程图。

在整个附图中，参考标号可以重新用于指示参考元件之间的对应关系。提供附图以说明在此描述的示例实施例并且不旨在限制本公开的范围。

具体实施方式