[发明专利]一种视线追踪方法及系统

说明书

本发明提供一种视线追踪方法及系统，方法包括训练步骤：从第一人脸图像数据中检测得到第一眼动图像数据；对获取到的眼动图像数据集合进行注视点校准，以得到校准图像数据集合；从第一人脸图像数据中提取得到第一人脸HOG特征信息；采用PCA‑LDA方法对第一人脸HOG特征信息进行降维处理，以获取得到第二人脸HOG特征信息；根据第一眼动图像数据结合Haar‑like算法获取第一人眼最小外接矩形，获取第一EC‑CG向量；根据校准图像数据集合和第一EC‑CG向量拟合得到注视点映射公式；实时眼动跟踪步骤包括：获取第二人脸图像数据的最终注视点坐标。本发明结合基于模板的方法和瞳孔角膜反射法来快速获取用户的最终注视点坐标，不需要额外设备，从而提高简易性和适用性。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种视线追踪方法及系统。

背景技术

随着计算机研究的研究和进步，人机交互是现在计算机研究的热点之一，人机交互方式也开始逐渐朝着多方向进行发展延伸。从原来的键鼠操作、手柄控制等传统方式，开始发展到语音识别、手势识别、人眼识别等利用感官体感等多种新模式，使得人机交互变得更为直接，灵活及方便，相对于传统模式更为直观和智能。而其中通过眼睛的视线追踪交互方式收到了广泛关注。

视线追踪技术是通过相应设备采集用户眼睛信息，提取相应特征进行注视点估计映射的过程。视觉交互可与智能控制技术相结合，可作为辅助设备帮助生活不便人群提升自理水平。也可以在用户阅读时，获取到注视位置的变化情况，便可以发现用户感兴趣的内容和操作习惯，能够用以优化广告投放，也可以用在网络授课或线上测试等场景，检测用户当前的学习考试状态。除此之外，也能应用于智能手机、文体娱乐、辅助驾驶等多个领域中。但是目前视线跟踪设备大部分都需要依赖红外光源或是眼动仪等专门的硬件设备，因此目前的视线跟踪设备无法实现在线上测试时对用户的视线进行追踪、监测。

发明内容

针对现有技术中存在的上述问题，现提供一种视线追踪方法及系统来实现不需要依赖其他硬件设备就可以在线上测试时对用户的视线进行追踪、监测。

具体技术方案如下：

一种视线追踪方法，其中，包括训练步骤和实时眼动跟踪步骤：

训练步骤具体包括：

步骤A1，获取包括训练人脸的第一人脸图像数据，从第一人脸图像数据中检测得到第一眼动图像数据；

其中，第一眼动图像数据包括未眨眼图像和眨眼图像；

步骤A2，获取训练人脸的眼动图像数据集合，眼动图像数据集合包括第一眼动图像数据和与第一眼动图像数据不同角度多个第二眼动图像数据，对眼动图像数据集合进行注视点校准，以得到校准图像数据集合；

步骤A3，从第一人脸图像数据中提取得到第一人脸HOG特征信息，采用PCA+LDA算法对第一人脸HOG特征信息进行降维处理，以获取得到第二人脸HOG特征信息，其中，PCA 为主成分分析法，LDA为线性判别分析降维算法；

步骤A4，根据第一眼动图像数据结合Haar-like特征人眼检测算法获取第一人眼最小外接矩形，获取第一EC-CG向量，其中，EC-CG向量为人眼矩形中心坐标EC和虹膜与上眼脸连通区域重心坐标CG构成的向量；

步骤A5，根据校准图像数据集合和第一EC-CG向量拟合得到注视点映射公式；

实时眼动跟踪步骤具体包括：

步骤B1，采用第二人脸HOG特征信息实时获取待检测人脸的第二人脸图像数据；

步骤B2，从第二人脸图像数据中检测得到第三眼动图像数据；

步骤B3，根据第三眼动图像数据结合Haar-like特征人眼检测算法获取第二人眼最小外接矩形，获取第二EC-CG向量；