[发明专利]一种基于标准化眼睛图像的视线追踪系统及方法

说明书

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于标准化眼睛图像的视线追踪系统及方法。

背景技术

视线是用眼睛看东西时，眼睛和物体之间的假想直线，它反映了人与环境的交互情况。视点是视线落点的位置，它在视网膜中央凹(视网膜中视觉最敏锐的区域)成像。视线追踪是利用眼动测量设备测量眼睛的运动情况估计视线方向或者视点位置的技术。视线追踪在人机交互、虚拟现实、医学诊断、广告分析和驾驶员安全监控等领域有广泛的应用。

现有的视线追踪方法按照是否需要在眼睛及其周边区域附着辅助设备分为侵入式和非侵入式两种。基于眼睛图像信息的视线追踪方法是非侵入式的视线追踪方法，该方法是通过外置摄像机捕捉人眼区域的图像，并根据该图像信息估计视线。基于眼睛图像信息的视线追踪方法不需要在眼睛及周边区域附着任何辅助设备，用户体验更好，同时，该方法对硬件复杂度的要求相对较低，因此被广泛使用。

现有的基于眼睛图像信息的视线追踪算法主要是基于特征的方法[1-8]，此外还有一些其他方法，如：基于外观的方法[9]。基于特征的视线追踪算法常用的特征主要包括：瞳孔轮廓、瞳孔中心、虹膜轮廓、虹膜中心、眼角以及外界光源(一般为红外光源)在角膜上的反射点(第一普金野图像，普尔钦斑)。基于特征的视线估计算法有角膜反射法[1-7]和虹膜-巩膜边缘法[8]。基于角膜反射点的视线追踪方法主要有：瞳孔中心与角膜反射向量法[1-4]、交比不变性方法[5]、基于眼球三维模型的视线估计方法[6]和双普金野法[7]。瞳孔中心与角膜反射向量法[1-3]是采用多项式拟合方法，将瞳孔中心与角膜反射向量与屏幕中的视点进行对应。该方法计算简单，但头动对视线追踪效果影响较大，虽然有一些补偿算法[4]，但较好的补偿算法往往需要大量的标定点。利用交比不变性的视线追踪算法[5]是利用射影几何中交比不变的特点进行视线估计。该方法可以解决头部上下、左右移动下的视线追踪不准的问题，但当头部前后运动时视线追踪仍然不够准确。而且该算法需要四个角膜反射点，硬件系统较为复杂，同时，引入四个角膜反射点也增加了图像处理工作的复杂性。基于眼球三维模型的视线估计方法[6]是对人眼的物理结构进行建模,根据模型计算视线的三维向量从而进行视线估计。该方法需要计算角膜中心、瞳孔中心的空间位置并通过已标定的光轴和视轴夹角来计算视线，在计算角膜中心和瞳孔中心时需要确定角膜曲率半径、眼球中心到角膜中心的距离、房水与角膜之间的折射率等参数，这些参数也是通过标定计算后得到的。因此，标定过程的计算量非常大，也需要复杂、精准的硬件装置。双普金野法[7]是利用光线进入眼后,在空气与角膜交界面、晶状体和玻璃体交界面分别形成的两个普金野图像(反射点)之间的位置关系进行视线估计。由于第二个普金野图像非常微弱，需要专业的摄像机才能捕捉到该图像。因此该方法需要昂贵、复杂的硬件装置。虹膜-巩膜边缘法[8]是通过检测虹膜和巩膜交界的圆在摄像机拍摄的图片中呈现的大小和椭圆形状，来估计视线方向。由于虹膜-巩膜边缘的图像处理对视线估计的准确性影响很大，而虹膜和巩膜交界的圆的上半部分和下半部分分别被上眼皮和下眼皮遮挡，因此图像中虹膜和巩膜交界圆的准确检测较为困难。基于外观的方法[9]对眼睛的整体图片进行处理，通过训练得到整个眼睛图像与视点的对应关系，进而估计视线方向，这种方法往往需要非常大的训练样本，也就是需要大量标定点，这给用户使用带来不便。

综上所述，现有的基于眼睛图像信息的视线追踪算法的主要问题有：(1)头部移动带来的视线追踪不准确；(2)需要复杂的硬件装置；(3)需要较多的标定点。

[1].Gale A.A note on the remote oculometer technique for recording eye movements[J].Vision Research,1982,22(1):201-202.

[2].Hutchinson T,White K,Martin W,Reichert K,Frey L.Human-computer interaction using eye-gaze input[J].IEEE Transactions on Systems,Man,and Cybernetics,1989,19(6):1527-1534.

[3].Morimoto C,Mimica M.Eye gaze tracking techniques for interactive applications[J].Computer Vision and Image Understanding,2005,98:4-24.