[发明专利]一种基于近眼相机的视线追踪方法

权利要求书

1.一种基于近眼相机的视线追踪方法，包括先采用近眼相机采集眼部灰度图像，其特征在于：还包括以下步骤：

Step1.眼部图像预处理；

Step2.视线特征提取；

Step3.视线落点估计；

所述Step1包括以下子步骤：

Step11.获取感兴趣区域：获取眼部灰度图像中包含完整瞳孔部分的感兴趣区域；

Step12.中值滤波：对获取感兴趣区域的眼部灰度图像进行中值滤波；

所述Step11包括以下子步骤：

Step111、图像预裁剪：以原始图像中心为中心点，选取长宽均为原始图像2/3的矩形区域对图像进行裁剪，仅保留矩形区域内像素，得到预裁剪图像；

Step112、感兴趣区域裁剪：设定像素数量阈值NUM，灰度级tn(n＝0,1,2…,255)，初始值t0＝0，遍历预裁剪图像，计算灰度值小于等于t0的像素数量num；当num＜NUM的时候，增加灰度级，即t1＝1，重新遍历预裁剪图像，再次计算小于等于此灰度级的像素数num，并与NUM进行比较，重复此过程，直至num满足num≥NUM，记录此时的灰度级tn，并将其值赋予灰度阈值T，即令T＝tn；然后将预裁剪图像中所有灰度值小于T的像素利用如下公式(1)，计算得到瞳孔区域的灰度质心：

其中，图像左上角作为参考坐标系原点，i和j分别表示像素的横坐标和纵坐标，f(i,j)表示像素灰度值，m和n分别表示图像中像素总列数和总行数；

所述Step2包括以下子步骤：

Step210.二值化分割；

Step220.形态学处理；

Step230.获取最大连通区域；

Step240.瞳孔边缘提取；

Step250.光斑区域去除；

Step260.椭圆拟合；

所述Step220形态学处理时，利用公式(3)对二值图像先进行形态学闭运算处理，再利用公式(4)对形态学闭运算处理后的图像进行形态学开运算处理，用以去除二值图像中的残余睫毛、瞳孔边缘噪点以及小面积阴影区域：

所述Step230获取最大连通区域时遍历整幅图像，标记出每个连通区域，并计算各个连通区域的像素数量，最后仅保留像素数量最多的连通区域，用以去除图像中的与瞳孔区域面积接近的噪声区域；

所述Step230步骤中，最大连通区域的获取包括以下步骤：

Step231、按照从左到右、从上到下的顺序遍历图像，标号初始值为1，当遇到像素值为1的点时，判断其邻接的左、左上、上、右上这4个像素是否已被标记，若没有被标记则将该像素点赋予新的标号；若已被标记，则将该像素赋予同一标号，如果邻接像素存在多种标号，则将该像素赋予最小的标号，并将这多个标号记为一个等价对；

Step232、将存在直接或间接等价关系的等价对合并为一个等价序列，并赋予每个等价序列一个序列号，序列号以1为初始值逐次递增，然后重新遍历一次图像，将属于同一等价序列的标记像素赋予该等价序列的序列号，即标记出每个连通区域；

Step233、计算每个连通区域的像素数量，将像素数量最大的连通区域予以保留，将其像素值置为1，其余像素值均置为0，完成获取最大连通区域步骤；

所述Step240瞳孔边缘提取时，采用Canny算子对图像进行处理，包括利用一阶偏导的有限差分计算梯度幅值和方向、对梯度幅值进行非极大值抑制、双阈值法检测和连接边缘三个子步骤；

Step241、用一阶偏导的有限差分计算梯度幅值和方向：

使用Sobel算子计算X和Y方向上的梯度以及梯度的方向角；

将待检测边缘的图像I分别与X和Y方向的卷积因子进行卷积，采用公式(5)如下：

求得X、Y方向的梯度后，再采用公式(6)计算梯度图像的幅值：

最后采用公式(7)计算梯度的方向角：

Step242、对梯度幅值进行非极大值抑制：

对Step241得到的幅值图像进行非极大值抑制，消除非边缘点的噪声并细化边缘，以待判断像素点为中心分为四个扇区，代表梯度方向的四个角度，将梯度角离散为圆周的四个扇区，对应于8邻域空间的四种组合；抑制逻辑为：沿着待判断点的梯度方向，比较前后两个点的幅值大小，若该点大于前后两点，则保留，若该点小于前后两点，则置为0，对每一个像素点都进行此操作，即完成了非极大值抑制；

Step243、用双阈值算法检测和连接边缘：

所述双阈值的机理为指定一个低阈值和一个高阈值，对非极大值抑制后的图像进行判断，根据判断结果分为以下三种情况：如果某一像素位置的梯度幅值超过高阈值，则该像素被保留为边缘像素；如果某一像素位置的梯度幅值小于低阈值，则该像素被排除；如果某一像素位置的梯度幅值介于高、低阈值之间，则判断该像素8邻域空间的像素是否存在高于高阈值的像素，如果存在，则该像素被保留；

所述Step250光斑区域去除时，设置光斑灰度阈值Tspot，利用阈值分割法对灰度图像进行处理，得到仅包含光斑区域的二值图像；利用光斑区域外接矩形中心作为中心，设置长宽为该外接矩形2倍的矩形区域，对该区域的像素坐标位置进行标记，将该标记范围内的像素的值置为0，作为假性边缘点进行去除；

所述Step260椭圆拟合时，通过计算瞳孔区域的对称性，将瞳孔分为遮挡和未遮挡两种情况，对不同情况采取不同的拟合点采样方式，利用最小二乘法对瞳孔边缘点进行椭圆拟合，进而得到椭圆中心坐标，并将其视作瞳孔中心；

所述Step260椭圆拟合时，包括以下子步骤：

Step261、计算每行瞳孔左右边缘像素点之间的距离，找到距离最大的两个边缘点将其连接，作为瞳孔区域上下部分的分割线，然后分别求取上下部分外接矩形的高度H1和H2，计算二者之比R，得到公式(8)：

Step262、将R的阈值设置为0.9，即当R≥0.9时，认定瞳孔未被遮挡；而当R＜0.9时，认定瞳孔区域被遮挡；

Step262、采样点选取：对于瞳孔未被遮挡的情况，所有瞳孔边缘点均为有效采样点，采用随机10点采样的方法选取采样点；对于瞳孔被遮挡的情况，取瞳孔轮廓的左、右、下3个特征边缘点，即瞳孔区域上下部分的分割线与瞳孔左右边缘的交点，以及瞳孔边缘纵坐标最小点，同时对瞳孔轮廓的下半部分边缘进行随机7点采样，将这10个点共同组成被遮挡瞳孔的采样点；

Step263、建立二维平面坐标系下的椭圆方程，即公式(9)：

x²+Axy+By²+Cx+Dy+E＝0 (9)；

其中x、y分别为横、纵坐标，A、B、C、D、E为待定参数，设P_i(x_i,y_i)(i＝1,2,…,10)为瞳孔边缘轮廓上的采样点，依据最小二乘原理，所拟合的目标函数为公式(10)：

F要达到最小，需要满足公式(11)条件：

因此得到以下公式(12)方程：

解此方程得到参数A、B、C、D、E的值，最后根据椭圆的几何运算计算出椭圆中心(Xe,Ye)；

所述Step3包括以下步骤：

Step310、采用基于九点标定的二维多项式映射的方法，计算瞳孔中心坐标与交互界面标定点之间的拟合参数，采用的标定方法如下：将交互界面的长、宽三等分得到等面积的9个注视区域，取每个区域的中心点作为标定点，用户佩戴近眼相机，保持头部位置不动，眼睛依次注视标定界面上的九个点，同时记录每组瞳孔中心坐标及对应的标定界面注视点坐标；

Step320、建立公式(13)的二维映射方程：

其中，X_C、Y_C分别为标定界面的标定点的横、纵坐标，X_e、Y_e分别为对应瞳孔中心横、纵坐标，a₀～a₅和b₀～b₅为待定参数，将9组标定坐标数据代入方程组中，求解待定参数得到映射方程。