[发明专利]基于眼部关键点检测的3D视线方向估计方法

权利要求书

1.一种基于眼部关键点检测的3D视线方向估计方法，其特征在于，包括以下步骤：

S1：在人脸前方设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该人脸检测及头部姿态估计装置坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴；在眼球中心标定环节，目标人员注视屏幕上某个已知坐标点G₀，在视线估计环节，目标人员注视屏幕上任意点G；

S2：采用眼球中心标定环节所获取的人脸图像序列，对该目标人员进行眼球中心标定，得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括：

S2.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到各个眼部关键点在人脸图像中的坐标p_i，i＝1,2,…,M，M表示眼部关键点数量；

S2.2：根据步骤S2.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p₀；

S2.3：采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解，得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标O_e：

其中，L_i表示眼球中心到M个眼部关键点的距离，α和β分别表示光轴单位向量N_e与视轴单位向量N_g之间固定夹角Kappa角的水平和竖直分量，分别表示视轴单位向量N_g在人脸检测及头部姿态估计装置坐标系下的x、y轴分量，分别表示光轴单位向量N_e在人脸检测及头部姿态估计装置坐标系下的x、y轴分量；表示M个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，表示虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标，的计算公式为：

其中，j＝0,1,…,M，f表示人脸检测及头部姿态估计装置中摄像机的焦距，o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标，分别表示点p_j在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量；

在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标O_e之后，经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为：

其中，表示作为头部坐标系原点的第i^*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，R表示旋转矩阵，其计算公式为：

S3：对于眼球中心标定环节完成之后的每帧人脸图像，根据步骤S2得到的眼球中心在头部坐标系中的坐标对当前帧目标人物的视线方向进行估计，视线估计的具体步骤包括：

S3.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到作为头部坐标系原点的第i^*个眼部关键点在人脸图像中的坐标

S3.2：根据步骤S3.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p₀；

S3.3：将头部坐标系原点坐标和虹膜中心坐标p₀转换到人脸检测及头部姿态估计装置坐标系下，其转换公式为：

其中，分别表示点在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量，分别表示点p₀在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量；

S3.4：根据当前帧人脸图像的旋转四元数[w,x,y,z]，计算得到旋转矩阵R：

S3.5：根据当前帧对应的头部坐标系原点坐标旋转矩阵R对步骤S2得到的头部坐标系下眼球中心的坐标进行坐标系变换，得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标O_e，其转换公式为：

S3.6：根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标O_e和虹膜中心坐标计算光轴单位向量N_e：

S3.7：求解以下方程组得到视轴单位向量N_g作为视线方向，完成视线方向估计：