[发明专利]基于眼部关键点检测的3D视线方向估计方法

说明书

本发明公开了一种基于眼部关键点检测的3D视线方向估计方法，采用人脸检测及头部姿态估计装置进行人脸区域检测和头部姿态估计，在眼球中心标定环节目标人员注视屏幕上某个已知坐标点，在标定过程中首先提取得到眼部关键点和虹膜中心在人脸图像中的坐标，利用眼部关键点与眼球中心的固定距离来对眼球中心进行约束，求解出眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标，再通过坐标变换得到头部坐标系下眼球中心的坐标；在以后的图像中，即可基于头部坐标系下眼球中心的坐标、头部坐标系原点、虹膜中心和头部姿态来对当前帧的视线方向进行估计。本发明通过引入眼部关键点信息，对眼球中心进行约束，从而能够更好地适应不同用户之间的差异。

技术领域

本发明属于视线估计技术领域，更为具体地讲，涉及一种基于眼部关键点检测的3D视线方向估计方法。

背景技术

视觉作为人类了解周围的重要手段，机器通过捕获用户的注视位置，可以有利于对用户的许多行为进行解释分析，从而更好的理解用户的意图，进而提高用户的人机交互体验。

目前的视线估计方法大致可以分为以下几种：appearance-based、2Dregression-based、3D model-based。appearance-based的方法主要是通过学习的方式，根据图像提取眼部特征，然后学习得到特征到视线方向的映射方式，从而估计出视线方向。2Dregression-based中最具代表性的方法是PCCR(pupil center and cornealreflection)，PCCR主要通过用IR摄像机分别检测出瞳孔中心与角膜反射点的坐标，然后估计瞳孔-角膜反射的相对位置关系，从而估计出视线方向。3D model-based方法通过建立3D眼球模型，根据该模型的三维几何关系建立求解方程组，求解眼球中心和虹膜(瞳孔)中心的坐标，从而估计用户视线方向。目前的许多3D model-based方法建立的眼球模型过于简单，对于人与人之间的差异鲁棒性不佳。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于眼部关键点检测的3D视线方向估计方法，引入了眼部关键点信息，对眼球中心进行约束，从而更好地适应不同用户之间的差异。

为实现上述发明目的，本发明基于眼部关键点检测的3D视线方向估计方法包括以下步骤：

S1：在人脸前方设置人脸检测及头部姿态估计装置，用于获取人脸图像，从中检测得到人脸区域并对头部姿态进行估计，将头部姿态以该人脸检测及头部姿态估计装置坐标系下的旋转四元数[w,x,y,z]表示，其中w代表旋转量，x,y,z代表旋转轴；在眼球中心标定环节，目标人员注视屏幕上某个已知坐标点G₀，在视线估计环节，目标人员注视屏幕上任意点G；

S2：采用眼球中心标定环节所获取的人脸图像序列，对该目标人员进行眼球中心标定，得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括：

S2.1：根据人脸检测及头部姿态估计装置所获取的人脸区域图像，检测得到眼部区域图像，提取得到各个眼部关键点在人脸图像中的坐标p_i，i＝1,2,…,M，M表示眼部关键点数量；

S2.2：根据步骤S2.1中得到的眼部区域图像，检测得到虹膜中心在人脸图像中的坐标p₀；

S2.3：采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解，得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标O_e：

其中，分别表示视轴单位向量N_g在人脸检测及头部姿态估计装置坐标系下的x、y轴分量，分别表示光轴单位向量N_e在人脸检测及头部姿态估计装置坐标系下的x、y轴分量；表示M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标，j＝0,1,…,M，其计算公式为：