[发明专利]一种基于人脸朝向约束的二级视线追踪方法

说明书

本发明公开了一种基于人脸朝向约束的二级视线追踪方法，包括以下步骤：获取图像序列；检测出人脸区域以及眼部区域图像信息；求解出人脸朝向，以人脸朝向作为射线方向，将该射线的方向定义为基准注视方向；将所述基准注视方向的射线与设备屏幕相交获得一个交点，将该交点作为基准注视点；以所述基准注视点为中心划定的一屏幕区域作为约束视场；分析所述眼部区域图像信息，获得用户在所述约束视场上的注视区域。本发明根据人眼观测物体的生理习惯，将头部晃动作为有效视线追踪信息，将头部姿态优先考虑。该方法无需标定步骤，无需进行头动补偿，可实现真正的无约束视线追踪。

技术领域

本发明属于人机交互技术领域，特别涉及一种基于人脸朝向约束的二级视线追踪方法。

背景技术

眼动交互是近年新兴的人机交互方式，它通过眼动仪等辅助输入设备，利用用户注视、扫视、眨眼等眼部动作，作为交互系统的输入，有效地代替鼠标键盘。眼动交互是人类和机器之间最直接、最自然的交互方式。而视线追踪技术是实现人机眼动交互的关键和核心功能。目前主流的实现方法中，可根据用户是否佩戴特定的光电装置分为两类：侵入式方法与非侵入式方法。侵入式方法主要依靠用户佩戴的特殊的光、电、化学装置，直接获得眼动信息。而非侵入式方法依靠计算机视觉技术，实时地通过视觉算法分析图像序列文件，计算出用户的视线。非侵入式方法是视线追踪的主流方法。

非侵入式方法主要包括三个步骤：在图像序列中提取眼动信息，求解映射方程，以及头动补偿。提取眼动信息：通过图像算法提取瞳孔、眼角等眼部特征点的图像坐标。求解映射方程：实现图像坐标到屏幕坐标的映射变换。头动补偿：用户头部晃动会使得映射方程失效，需要针对头部晃动进行精度补偿。

现阶段非侵入式方法存在一些问题：

非侵入式方法均需要限制用户使用过程中的头部晃动以增加视线追踪精度，部分系统甚至要求用户使用支架固定头部，影响了用户体验。用户使用前，需要屏幕定标过程完成映射方程的求解。该步骤繁琐不便，同样影响了用户的体验。

现有的非侵入式视线追踪技术，限制用户头部活动，不单影响用户体验，还违反了人的用眼生理习惯。同时，由于眼球转动方向与屏幕视点轨迹方向为非线性关系，因此，限制头部活动也会引起新的非线性误差。

综上所述，非侵入式方法在解决用户头部晃动的问题上，还存在问题尚需解决。

发明内容

本发明的目的是提出一种基于人脸朝向约束的二级视线追踪方法，以期在非侵入式视线追踪过程中解决用户头部晃动的问题。

本发明是通过以下技术方案来实现的：

一种基于人脸朝向约束的二级视线追踪方法，包括以下步骤：

(1)通过非侵入式的图像采集单元获取图像序列；

(2)基于所述图像序列，在图像序列每一帧图像中，检测出人脸区域以及眼部区域图像信息；

(3)基于所述图像中的人脸区域，求解出人脸朝向，以人脸朝向作为射线方向，将该射线的方向定义为基准注视方向；

(4)基于所述基准注视方向，将所述基准注视方向的射线与设备屏幕相交获得一个交点，将该交点作为基准注视点；

(5)基于所述基准注视点，以所述基准注视点为中心划定的一屏幕区域作为约束视场；

(6)基于所述约束视场，分析所述眼部区域图像信息，获得用户在所述约束视场上的注视区域。

所述步骤(3)包含以下子步骤：

(3.1)在人脸区域上进行人脸特征点检测，标识出至少三个人脸特征点；

(3.2)基于机器学习回归方法，将三维标准人脸模型拟合到所述的人脸特征点上，从而使三维标准人脸模型覆盖到人脸区域上；