[发明专利]一种基于人脸朝向约束的二级视线追踪方法

权利要求书

1.一种基于人脸朝向约束的二级视线追踪方法，其特征在于，包括以下步骤：

(1)通过非侵入式的图像采集单元获取图像序列；

(2)基于所述图像序列，在图像序列每一帧图像中，检测出人脸区域以及眼部区域图像信息；

(3)基于所述图像中的人脸区域，求解出人脸朝向，以人脸朝向作为射线方向，将该射线的方向定义为基准注视方向；

(4)基于所述基准注视方向，将所述基准注视方向的射线与设备屏幕相交获得一个交点，将该交点作为基准注视点；

(5)基于所述基准注视点，以所述基准注视点为中心划定的一屏幕区域作为约束视场；

(6)基于所述约束视场，分析所述眼部区域图像信息，获得用户在所述约束视场上的注视区域；

所述步骤(6)包含以下子步骤：

(6.1)基于机器学习的方法，在人脸区域内，检测落在所述约束视场内的眼部区域；

(6.2)通过灰度积分函数，获得虹膜位置，然后基于Snake模型，分割人眼区域中的瞳孔边沿，并定位瞳孔中心；

(6.3)基于瞳孔中心与眼角之间的相对位置，构造瞳孔中心-内眼角眼动矢量(Δx,Δy)；

(6.4)设用户在所述约束视场上注视点的坐标为(u_x,u_y)，通过回归方法，构造二次多项式(2)，从而获得u_x和u_y的值，即可得用户在所述约束视场上注视点坐标：

其中，a₀、a₁、a₂、a₃、a₄、a₅，b₀、b₁、b₂、b₃、b₄、b₅为系数。

2.根据权利要求1所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，所述步骤(3)包含以下子步骤：

(3.1)在人脸区域上进行人脸特征点检测，标识出至少三个人脸特征点；

(3.2)基于机器学习回归方法，将三维标准人脸模型拟合到所述的人脸特征点上，从而使三维标准人脸模型覆盖到人脸区域上；

(3.3)基于所述三维标准人脸模型，从旋转矩阵中求解出三维标准人脸模型的姿态角，从位移矢量中获得用户头部的空间坐标；

(3.4)以人脸上某特征点为端点作一射线，射线方向为所述姿态角向量的方向，该射线定义为基准注视方向。

3.根据权利要求2所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，所述人脸特征点包括眉毛、眼角、眼睑、鼻子、鼻梁和下巴。

4.根据权利要求1所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，所述步骤(5)包含以下子步骤：

(5.1)设定摄像机坐标系与世界坐标系；

(5.2)固定交互屏幕，获得其世界坐标系参数；

(5.3)获得用户头部空间坐标；

(5.4)经立体几何运算，计算出所述基准注视方向射线和交互屏幕屏幕相交的一点，获得该点摄像机坐标系坐标；

(5.5)将交点的摄像机坐标系坐标(X_pc,Y_pc,Z_pc)经公式1转换为图像坐标系坐标(u_p,v_p)；

(5.6)以坐标(u_p,v_p)为中心在交互屏幕上划定的一屏幕区域作为约束视场。

5.根据权利要求1或4所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，所述屏幕区域的大小为交互屏幕的1/4～1/10。

6.根据权利要求1所述的基于人脸朝向约束的二级视线追踪方法，其特征在于，

所述步骤(6)包含的子步骤替换为下面的子步骤：

(6.1)基于机器学习的方法，在人脸区域内，检测落在所述约束视场内的眼部区域；

(6.2)通过灰度积分函数，获得虹膜位置，然后基于Snake模型，分割人眼区域中的瞳孔边沿，并定位瞳孔中心；

(6.3)基于瞳孔中心与眼角之间的相对位置，构造瞳孔中心-内眼角眼动矢量(Δx,Δy)；

(6.4)通过分类方法实现：将所述约束视场划分为小区间，并对其进行编码；系统通过加载预先训练完成的人工神经网络，输入用户当前眼动信息以及头部姿态，即可输出当前用户注视热区。