[发明专利]一种基于自适应校准的非接触式视线追踪方法

摘要

本发明提供了一种基于自适应校准的非接触式视线追踪方法，结合BFS算法、图像几何特征和灰度特征的光斑特征提取方法，将光斑与对应的光源进行精确匹配；利用一维边缘检测算子和最小二乘椭圆拟合进行循环拟合，去除噪点，直到椭圆中心固定的拟合方法，最终得到精确的瞳孔中心；并提出一种动态自适应的校准方法，有效提高了现有的空间映射模型精度。

主权项

一种基于自适应校准的非接触式视线追踪方法，其特征在于，包括以下步骤：步骤1：将获取到的彩色图像转换成灰度图，对图像进行去噪处理；步骤2：分析出图像中灰度值最低的子区域，以这个灰度值作为域值将图像分割成二值化图像，利用所有小于阈值的点(xk,yk)，k＝1…N，N是直方图中灰度小于阈值的点的个数，在二值化图像粗定位瞳孔中心位置(xpupil,ypupil)，如式(1)和式(2)：步骤3：根据粗定的瞳孔中心，把以它为中心的矩形区域设置为感兴趣区域ROI；步骤4：利用最大类间方差法设定一个初始阈值，然后对分割后的ROI图像进行评估，如果从利用当前阈值分割后的图像中搜索不到满足条件的光斑，则自动调整阈值，重新分割图像，再次进行搜索，直接搜索出满足条件的全部光斑；步骤5：利用质心法，确定五个光斑的中心坐标；步骤6：基于几何关系匹配光斑与光源；步骤7：利用光斑提取过程中得到的角膜反射光斑区域，将光斑区域的点集的灰度替换成光斑提取过程中的最佳自适应阈值，然后采用经典阈值分割技术对图像进行二值化，将图像按照光斑提取过程中的最佳自适应阈值进行分割，得到瞳孔的大概区域；步骤8：提取瞳孔的边缘点集；步骤9：利用椭圆拟合，得到瞳孔的中心坐标：首先用最小二乘椭圆拟合法，对候选点进行椭圆拟合，去除候选边缘点中离椭圆中心的距离过远的点；循环进行拟合，直到得到一个稳定的椭圆中心位置，这个稳定的椭圆中心位置，就是瞳孔的中心坐标；步骤10：计算注视点；步骤11：校准注视点；步骤10中，计算注视点具体如下：根据计算出的屏幕上四个光斑和瞳孔中心坐标，利用射影几何中的交比不变原理进行空间坐标的映射，p代表瞳孔的中心，g代表人眼在屏幕上的注视点，V1，V2，V3，V4分别是屏幕四个角上的近红外光源IR1，IR2， IR3，IR4产生的光斑对应的虚点； UV1，UV2，UV3，UV4分别是虚点V1，V2，V3，V4在图像平面上的映射点，所以这4个点也是虚点，而人眼上的实际光斑Gt1,Gt2,Gt3,Gt4在图像中对应的点是UR1，UR2，UR3，UR4；图像中捕获的光斑与空间映射关系中图像平面上的虚点之间存在一个固定的比例关系，如式(7)所示，其中α是一个取值近似于2.0的理论常量，URP和URi可以从捕获的图像中计算出来，URP是由系统中靠近摄像机光轴位置的近红外光源所产生的光斑；所以，当α取值为常量2.0的时候，UV1，UV2，UV3，UV4就能通过式(7)计算出来，这样虚点和光斑之间的关系就确立，UVi＝URP+α(URi‑URP),i＝1,2,3,4   (7)根据交比不变原理，IR1与IR2的交比值等于V1与V2的交比值，且V1与V2的交比值等于UV1与UV2的交比值，所以IR1与IR2的交比值等于UV1与UV2的交比值；假定图像平面的4个虚点坐标为UVi＝(xVi,yVi)，以这4个点为基础扩展出交点，假设这些交点的坐标为UM＝(xMi,yMi)，M表示4个虚点和UP进行连线的交点，UV1与UV2的交比值如式(8)所示，UV2与UV3的交比值如式(9)所示，假设人眼在屏幕上的视线注视点坐标为g(xg,yg)，屏幕的宽度和高度分别为w和h，在屏幕所在的平面上有M1(xg,0)和M2(w/2,0)，则IR1与IR2的交比值如式(10)所示，IR1和IR4的交比值如式(11)所示，利用交比等式和解出人眼的注视点g，