[发明专利]一种基于关键点定位的人眼焦点追踪系统

说明书

本发明本发明涉及计算机视觉追踪领域，公开了一种基于关键点定位的人眼焦点追踪系统，包括以下步骤：一、数据标定：需要标定8个眼睛边界点和一个瞳孔中心点，通过计算瞳孔中心点和眼角点的欧式距离可以判断眼睛的注视方向；二、标签制作：关键点的标签使用heatmap的形式，每一张眼睛图片对应一张相应的heatmap；本发明通过对人眼和关键点的检测以及距离的计算用来判定人眼转动方向，实现简单有效，不需要额外的辅助开销，方便大面积推广，适用于平民化操作。

技术领域

本发明涉及计算机视觉追踪领域，特别涉及一种基于关键点定位的人眼焦点追踪系统。

背景技术

视觉跟踪的研究和应用在国内研究较少，因此发展比较缓慢。眼动追踪主要是基于对眼睛视频的分析，获取眼睛注视或者凝视的点，将其反映在坐标系中，让计算机知道人眼正在看哪里，什么时间点看的。目前共分为两种研究方向，一种基于神经网络，一种基于眼部特征。目前比较热门的眼睛追踪技术主要是基于眼睛视频分析的非侵入式技术，其基本原理是：将红外光线和摄像机对准被测试者的眼睛，通过光线和后端分析来得到测试者的注视方向。目前的眼动软件需要识别瞳孔中心和角膜反射中心，这就需要使用到红外照明设备，如图1所示；

如图1中所示，当眼睛旋转时，瞳孔的中心点位置会随着眼睛的转动而改变，而角膜反射的位置基本不变，因为反射源不会改变，因此如果眼睛完全固定在空间中并简单地绕其自身的中心旋转，则仅在摄像机传感器上跟踪瞳孔中心的变化就可以确定注视/凝视的位置。通过这种方式需要用到额外的红外设备，而且操作方式比较繁琐。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于关键点定位的人眼焦点追踪系统。

本发明提供了如下的技术方案：

本发明提供一种基于关键点定位的人眼焦点追踪系统，包括以下步骤：

一、数据标定：

数据标定的样本格式需要标定8个眼睛边界点和一个瞳孔中心点，通过计算瞳孔中心点和眼角点的欧式距离可以判断眼睛的注视方向；

二、标签制作：

关键点的标签使用heatmap的形式，每一张眼睛图片对应一张相应的 heatmap；

三、注视区域计算：

总共需要计算8个值(x1-x8),假设瞳孔左移则瞳孔关键点左移，x1相应变小，x5变大，反之则x1变大，x5变小，上移和下移计算同理，通过分析x1-x8的距离可以得到眼睛的注视方向；其中计算方式使用欧式距离如下：

其中，(x1,y1)表示在直角坐标系中的横纵坐标，

模型总体流程如下所示：

模型的基础架构使用mobilev3，这样可以使得模型参数小，处理时间短，这里需要粗定位模块人眼检测模块用来粗略定位人眼，然后使用关键点模块定位眼的8边界点和瞳孔中心点；

人眼检测模块对多个尺度进行检测，需要预测四个值(x1,y1,w,h)用来代表检测框的中心点和宽高；根据坐标按比例去feauture map中提取对应部分送入关键点检测模块；

关键点检测模块会对map向上卷积插值直到原图大小，需要预测八个眼睛角点和一个瞳孔中心点，这里直接预测heatmap图，这里还需使用一个相似向量(这里预设4维)来区分瞳孔中心点和眼睛角点。

与现有技术相比，本发明的有益效果如下：

本发明通过对人眼和关键点的检测以及距离的计算用来判定人眼转动方向，实现简单有效，不需要额外的辅助开销，方便大面积推广，适用于平民化操作。

附图说明