[发明专利]基于眼部关键点检测的3D视线方向估计方法

摘要

本发明公开了一种基于眼部关键点检测的3D视线方向估计方法，采用人脸检测及头部姿态估计装置进行人脸区域检测和头部姿态估计，在眼球中心标定环节目标人员注视屏幕上某个已知坐标点，在标定过程中首先提取得到眼部关键点和虹膜中心在人脸图像中的坐标，利用眼部关键点与眼球中心的固定距离来对眼球中心进行约束，求解出眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标，再通过坐标变换得到头部坐标系下眼球中心的坐标；在以后的图像中，即可基于头部坐标系下眼球中心的坐标、头部坐标系原点、虹膜中心和头部姿态来对当前帧的视线方向进行估计。本发明通过引入眼部关键点信息，对眼球中心进行约束，从而能够更好地适应不同用户之间的差异。

主权项

一种基于眼部关键点检测的3D视线方向估计方法，其特征在于，包括以下步骤：S1：在人脸前方设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该传感器坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴；在眼球中心标定环节，目标人员注视屏幕上某个已知坐标点G0，在视线估计环节，目标人员注视屏幕上任意点G；S2：采用眼球中心标定环节所获取的人脸图像序列，对该目标人员进行眼球中心标定，得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括：S2.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到各个眼部关键点在人脸图像中的坐标pi，i＝1,2,…,M，M表示眼部关键点数量；S2.2：根据步骤S2.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p0；S2.3：采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解，得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe：其中，分别表示视轴单位向量Ng在人脸检测及头部姿态估计装置坐标系下的x、y轴分量，分别表示光轴单位向量Ne在人脸检测及头部姿态估计装置坐标系下的x、y轴分量；表示M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标，j＝0,1,…,M，其计算公式为：其中，f表示人脸检测及头部姿态估计装置中摄像机的焦距，o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标，分别表示点pj在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量；在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe之后，经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为：其中，表示作为头部坐标系原点的第i*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标，R表示旋转矩阵，其计算公式为：S3：对于眼球中心标定环节完成之后的每帧人脸图像，根据步骤S2得到的眼球中心在头部坐标系中的坐标对当前帧目标人物的视线方向进行估计，视线估计的具体步骤包括：S3.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到作为头部坐标系原点的第i*个眼部关键点在人脸图像中的坐标S3.2：根据步骤S3.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p0；S3.3：将头部坐标系原点坐标和虹膜中心坐标p0转换到人脸检测及头部姿态估计装置坐标系下，其转换公式为：S3.4：根据当前帧人脸图像的旋转四元数[w,x,y,z]，计算得到旋转矩阵R：S3.5：根据当前帧对应的头部坐标系原点坐标旋转矩阵R对步骤S2得到的头部坐标系下眼球中心的坐标进行坐标系变换，得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe，其转换公式为：S3.6：根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe和虹膜中心坐标计算光轴单位向量Ne：S3.7：求解以下方程组得到视轴单位向量Ng作为视线方向，完成视线方向估计：。