[发明专利]眼睛跟踪数据过滤

说明书

本公开涉及眼睛跟踪数据过滤。眼睛跟踪通过如下方式来执行：确定用户相对于位于用户前方的透镜的初始瞳孔位置；检测到相对于透镜的瞳孔位置到相对于透镜的更新的瞳孔位置的变化；以及确定更新的瞳孔位置在与透镜相关联的边界框之外。更新的瞳孔位置是在与透镜相关联的边界框内具有替换瞳孔位置的替换瞳孔位置，并且更新的瞳孔位置用于眼睛跟踪功能。眼睛跟踪也通过如下方式来执行：确定与注视方向相关联的第一像素在可见性区域之外；识别可见性区域内的替换像素；基于替换像素来确定更新的注视角度；以及使用更新的注视角度来执行眼睛跟踪。

背景技术

本公开整体涉及图像处理。更具体地，但不作为限制，本公开涉及用于针对改进的眼睛跟踪技术生成和管理眼睛跟踪数据的技术和系统。

眼睛跟踪是在诸如注视检测、姿势估计、面部分析和识别等许多领域中采用的技术。眼部跟踪通常形成这些操作的基础，并且可被认为是以电子方式定位人的视点或跟踪并记录人的视点的移动的过程。在实施过程中，通过定位和跟踪瞳孔位置和注视方向来提供眼睛跟踪。然而，用于跟踪眼睛的传感器经常移位或抖动，使得眼睛跟踪数据并非总是被完美地校准。因此，眼睛跟踪数据可能是抖动或无效的。需要一种用于管理眼睛跟踪数据的改进技术。

附图说明

图1A和图1B示出了用于眼睛跟踪并执行瞳孔定位的设置的示例图。

图2示出了根据一个或多个实施方案的用于管理针对眼睛跟踪技术的瞳孔位置信息的技术的流程图。

图3示出了根据一个或多个实施方案的用于优化瞳孔位置以进行眼睛跟踪的技术的流程图。

图4A和图4B示出了根据一个或多个实施方案的注视方向相对于可见性区域的示例图。

图5A和图5B示出了根据一个或多个实施方案的用于优化针对眼睛跟踪技术的注视角度的技术的流程图。

图6示出了根据一个或多个实施方案的用于识别替换像素以优化注视角度的技术的流程图。

图7以框图形式示出了根据一个或多个实施方案的多功能电子设备。

图8以框图形式示出了根据一个或多个实施方案的计算机系统。

具体实施方式

本公开涉及用于优化和平滑眼睛跟踪数据以增强眼睛跟踪技术性能的系统、方法和计算机可读介质。

在一个或多个实施方案中，瞳孔位置被夹持在预定区域内。穿过其监测瞳孔的透镜可具有为已知校准区域的预定区域，而透镜的其他区域可能被校准得较少。这样，应当将瞳孔位置维持在校准区域内。在一个或多个实施方案中，确定相对于位于眼睛前方的透镜的初始瞳孔位置。可检测到相对于透镜的瞳孔位置到相对于透镜的更新的瞳孔位置的变化。如果更新的瞳孔位置在所确定的边界框(例如与校准区域相关联的边界框)之外，则选择该边界框内的替换瞳孔位置。然后将更新的瞳孔位置用于眼睛跟踪技术。在一些实施方案中，为了避免抖动，眼睛跟踪系统可在一系列帧中改变瞳孔位置，使得瞳孔位置例如基于时间型缓动函数从初始瞳孔位置过渡到替换瞳孔位置。

在一个或多个实施方案中，可优化注视方向以用于眼睛跟踪技术。具体地，优化注视方向，使得用户正注视着可见性区域。可将第一像素确定为与可见性区域之外的注视方向相关联。识别可见性区域内的替换像素。可沿着从视场中心到第一像素的向量来选择替换像素。基于替换像素的位置来确定注视角度，并且使用该注视角度来执行眼睛跟踪功能。

对于本公开的目的，术语“注视原点”是指确定注视的眼睛的中心。

对于本公开的目的，术语“瞳孔位置”是指眼睛表面上瞳孔所在的位置。

对于本公开的目的，术语“注视方向”是源自注视原点并穿过瞳孔位置的注视方向。