[发明专利]一种基于虹膜和瞳孔的三维视线估计方法

说明书

本发明公开了一种基于虹膜和瞳孔的三维视线估计方法，该方法利用瞳孔中心和虹膜中心在三维空间中不共点的特性，由瞳孔中心与虹膜中心组成光轴方向，眼睛视轴与光轴相交于角膜曲率中心，通过计算眼睛视轴与光轴之间的偏转角，可以由光轴方向计算得到眼睛视轴方向，即人眼的三维视线方向。本发明为三维视线估计提供了一种新型的、精度高的模型方法。

技术领域

本发明涉及视线跟踪技术领域，具体涉及基于近红外光下的三维视线估计方法。

背景技术

随着信息技术和人工智能的不断发展，人机交互技术的研究受到更多的关注和重视。基于视频图像处理的视线跟踪技术作为人机交互的重要分支，许多基础理论和技术问题仍然没有得到很好的解决，其中的关键问题是虹膜、瞳孔等眼睛运动图像特征的提取和表达，以及视线跟踪映射模型的建立。

视线跟踪映射模型主要分为二维视线跟踪方法和三维视线跟踪方法。二维方法对头部运动敏感，需要用户保持头部静止或者只能小范围运动。三维方法通过眼动特征直接确定眼睛三维视线方向，与注视物体进行交叉，从而得到注视点的位置，只要能够获得头部和眼睛运动的图像信息，理论上对被试者没有头部运动的限制。然而由于需要立体眼睛参数的计算，增加了眼睛特征检测和参数提取的复杂性，其估计精度依赖于立体视觉的精度，而且不同的使用者的个体差异、头部运动等问题也会对映射模型产生直接的影响。

发明内容

本发明公开了一种基于虹膜与瞳孔的三维视线跟踪方法，在红外光源的辅助下，通过获取虹膜中心与瞳孔中心，提出一种新型的基于虹膜中心与瞳孔中心的三维注视点映射模型，其允许头部自由运动同时又使得注视点的精度满足系统要求，。

本发明通过以下技术方案实现。

一种基于虹膜和瞳孔的三维视线估计方法，该方法采用两个摄像机采集图像和一个红外光作为辅助光源，放置在显示屏前照射人脸，具体包含步骤：

(1)眼动特征提取：使用红外光源增强人眼图像，通过精确的轮廓提取和椭圆拟合获取虹膜中心位置和瞳孔中心位置；

(2)三维特征中心计算：利用虹膜中心和瞳孔中心的二维信息，结合摄像机参数计算出特征点的三维坐标；

(3)视线偏差补偿：虹膜中心与瞳孔中心连线形成的光轴方向，与代表视线方向的视轴方向存在偏转角。通过求解偏转角进行视线校正，从而得到精确的人眼注视方向。

上述方法中，所述步骤(1)中包括：采用红外光源增强人眼信息，首先采用Haar特征级联分类器对人眼区域进行定位，接着采用基于直方图与迭代的方法对虹膜与瞳孔进行最佳阈值分割，在虹膜特征提取部分，首先通过数学形态学的方法获得虹膜的初步轮廓，再利用基于边缘检测与椭圆拟合的方法获得精确的虹膜轮廓，得到虹膜中心的坐标；在瞳孔特征提取部分，已经提取到的虹膜中心坐标为基础，设置相应的感兴趣区域提取瞳孔轮廓，采用瞳孔轮廓凸包处理与椭圆拟合对瞳孔中心坐标进行定位。

上述方法中，所述步骤(2)中包括：

(2.1)通过张正友平面模版标定法获取摄像机内参数K与外参数R_lR_rt_lt_r,其中R_l和R_r(t_l和t_r)分别表示左右摄像机坐标系到世界坐标系下的旋转矩阵(平移矩阵)，然后需要通过双摄像机立体计算来获取双摄像机之间的空间几何关系，并对摄像机进行平面校正以获得严格平行的双摄像机视觉系统；

(2.2)利用步骤(1)获取的虹膜中心和瞳孔中心的二维信息，结合步骤(2.1)计算所得的摄像机内外参数和空间几何关系求取虹膜中心与瞳孔中心的三维空间坐标，最后以虹膜中心与瞳孔中心的连线作为人眼光轴的方向。

上述方法中，所述步骤(3)中包括：