[发明专利]视线跟踪系统及方法

说明书

公开一种视线跟踪系统及方法，所述视线跟踪系统包括：多个摄像头；与所述多个摄像头对应的多组光源；光源控制装置，控制所述多组光源依次发光，以便所述多个摄像头拍摄用户的亮瞳图像和暗瞳图像；视线特征检测单元，从所述多个摄像头拍摄的亮瞳图像和暗瞳图像中检测瞳孔中心点的位置和反射亮斑的位置；视线估计单元，通过使用检测到的瞳孔中心点的位置和反射亮斑的位置来计算角膜曲面中心点与瞳孔中心点的三维空间位置，从而跟踪双眼视线的方向，以确定双眼的关注位置。

技术领域

本发明涉及一种视线跟踪系统及方法，更具体地讲，涉及一种基于多个摄像头的使用双眼视线估计模型的高精度视线跟踪系统及方法。

背景技术

视线是眼睛注视的方向，它代表一个人关注的焦点。近几十年，视线追跟踪一直都是比较活跃的研究课题。视线跟踪在人机交互领域存在着很大的应用潜力。例如，当用户注视显示器屏幕时，可以通过视线跟踪系统估计出用户在屏幕上的注视点。因此，视线可以作为先进的计算机输入手段，其已经被证明比传统输入设备(比如鼠标)更有效率，而且身体残障人士也可以使用视线跟踪系统。此外，还可以实现基于视线跟踪技术的互动显示器，该显示器显示的画面可随视线的变化而变化。与此同时，视线跟踪也被认知科学家广泛地应用于人类的认知和记忆研究。

然而，尽管已经对视线跟踪进行了大量的研究工作，但是在现实世界中使用计算机视觉的方法估计人眼视线的方向依然是个难题，特别是在有光照变化、头部旋转角度大等情况下更加明显。

目前的视线跟踪方法可以大致分为基于头戴式设备的视线跟踪方法和远距离视线跟踪方法。基于头戴式设备的视线跟踪方法需要在头部佩戴一个类似头盔的设备，利用安装在头戴式设备上的摄像头采集眼睛的图像信息。这种方法的最大问题是使用与携带不方便，为用户带来额外的负担，而且由于头戴式设备比较复杂以及成本较高，限制了广泛推广的可能。与之相比较，远距离视线跟踪方法是一种非接触式的方法，它不需要用户佩戴额外的设备，不会影响用户的自然使用。远距离视线跟踪方法主要是基于瞳孔-角膜反射技术的方法，也就是利用红外光源在人眼中产生反射点，通过追踪瞳孔中心与角膜反射的相对位置，根据相机的成像路径估计人眼球的三维位置，得到视线方向。这种方法有以下几个优点：(1)因为采用几何模型进行视线估计，所以视线跟踪的精度不会随着头部运动而受到很大影响；(2)三维视线估计方法估计的是空间视线方向，而不是屏幕视线落点，所以视线跟踪不依赖于屏幕位置、大小、形状，可以计算视线在任何物体上的注视点。然而，这种方法同时也存在以下几个缺点：(1)由于需要长焦距相机而导致视角狭窄；(2)无法同时支持多个人进行视线估计和跟踪；(3)视线跟踪精度有待提高。

发明内容

因此，为了解决现有技术中的以上缺点，本发明的目的在于提供基于多个摄像头的使用双眼视线估计模型的高精度视线跟踪系统及方法。

根据本发明的一方面，提供一种视线跟踪系统，包括：多个摄像头；与所述多个摄像头对应的多组光源；光源控制装置，控制所述多组光源依次发光，以便所述多个摄像头拍摄用户的亮瞳图像和暗瞳图像；视线特征检测单元，从所述多个摄像头拍摄的亮瞳图像和暗瞳图像中检测瞳孔中心点的位置和反射亮斑的位置；视线估计单元，通过使用检测到的瞳孔中心点的位置和反射亮斑的位置来计算角膜曲面中心点与瞳孔中心点的三维空间位置，从而跟踪双眼视线的方向，以确定双眼的关注位置。

所述视线跟踪系统还包括：关注位置修正单元，通过使用用户观看的屏幕上的多个已知点进行位置标定，来修正双眼的关注位置。

所述多组光源是对应于所述多个摄像头的同轴光源。

一组光源包括若干个红外LED，所述若干个LED环绕与该组光源对应的一个摄像头均匀地布置。

对于一个摄像头，当与该摄像头对应的一组光源发光时，该摄像头拍摄用户的亮瞳图像，当其他各组光源发光时，该摄像头拍摄用户的暗瞳图像。

视线特征检测单元根据亮瞳图像中人眼区域的灰度信息检测瞳孔中心点的位置。