[发明专利]用于减少基于云的眼睛跟踪系统中的计算和传输时延的装置和方法

说明书

提供用于具有减少的计算和网络开销的基于云的眼睛跟踪的系统和方法。通过隔离面部图像内的眼区且将其传输到远程服务器以进行进一步图像处理来减少计算时延。通过识别网络上的可用服务器，基于各种属性将传输时延值分配到每一服务器，且主动选择具有最低传输时延的服务器来减少传输时延。

技术领域

本公开大体上涉及与客户端计算机相关联的眼睛跟踪装置，更具体地说，涉及用于在经由网络将眼睛跟踪图像数据传输到配置成处理图像数据的基于云的服务器时最小化计算和传输时延的技术。

背景技术

眼睛跟踪为用于在不使用键盘或鼠标的情况下便于计算机访问的辅助技术。配备有眼睛跟踪器装置的计算机允许残疾人有效地与计算机交互且仅使用其眼睛导航应用程序。眼睛跟踪器还用于游戏、虚拟现实、研究和医疗应用中，作为附加附件或无缝地集成到例如平板计算机、膝上型计算机或台式计算机的原生计算机中。最先进的眼睛跟踪产品可从位于亚利桑那州梅萨(Mesa,Arizona)的Eyetech^TM数字系统和位于瑞典斯德哥尔摩(Stockholm,Sweden)的Tobii^TMTech购得。

眼睛跟踪相机的基本组件包含图像传感器、透镜、至少一个照明器(例如，近场红外(IR)LED)、处理器以及用于与跟踪器附接到的原生计算机通信的数据链路。目前已知的跟踪器包含用于对由传感器捕获的图像数据执行计算密集型图像处理的稳健处理器。实时(或近实时)地执行复杂图像处理功能需要高性能微处理器和相关联的高速随机存取存储器(RAM)，这往往会增加装置硬件的成本。

因此需要克服目前已知的眼睛跟踪装置的局限性的系统和方法。

发明内容

本发明提出最小化基本眼睛跟踪装置硬件，从而降低成本、大小和复杂性，同时仍允许实时或近实时地处理眼睛移动。根据本公开的一个方面，跟踪装置包含低成本相机和微处理器，以及基于云的处理方案，其中远程地执行复杂图像处理功能。为了实现实时性能，本发明进一步涵盖用于最小化基于云的处理方案中固有的计算和传输时延的各种技术。

附图说明

参考随附图式阐述详细描述。相同参考数字的使用可指示类似或相同的项目。各种实施例可利用不同于图式中所说明的那些元件和/或组件的元件和/或组件，且各种实施例中可能不存在一些元件和/或组件。图式中的元件和/或组件未必按比例绘制。贯穿本公开，取决于上下文，单数和复数术语可互换使用。

图1为描绘示例性架构的示意性框图，其中可根据各种实施例实施用于提供本文中所公开的系统和方法的技术和结构；

图2为说明根据各种实施例的完整面部图像的使用和眼区的确定以及眼区的后续使用的示意图；

图3为根据各种实施例的减少计算时延的示例性方法的流程图；

图4为根据各种实施例的调节眼睛位置和眼睛位置信息的示例性方法的流程图；

图5为根据各种实施例的示例性初始化例程的流程图；且

图6为在图5的初始化例程期间识别的可用处理资源和相关联属性的示例性阵列。

具体实施方式

本发明采用基于云的处理方案，其中远程地而非本地地执行图像处理的全部或相当大部分。因此，引入计算时延(执行图像处理所需的时间)和传输时延(数据从客户端装置行进到基于云的服务器且再次返回所需的时间)两者。描述用于最小化计算和传输时延的各种技术，使得尽管眼睛跟踪装置与基于云的服务器之间的物理分离，但仍可实现实时操作。

用于减少计算时延的技术包含：i)隔离所捕获图像的眼区且裁剪或截断剩余数据；ii)仅包含处理连续数据帧之间的差的数据压缩；ⅲ)基于先前数据帧的预测性图像裁剪；以及iv)从可用处理资源(例如，兼容芯片组)选择最优服务器配置。下文结合图1到4更详细地论述这些技术。