[发明专利]一种基于关键点定位的人眼焦点追踪系统

权利要求书

1.一种基于关键点定位的人眼焦点追踪系统，其特征在于，包括以下步骤：

一、数据标定：

数据标定的样本格式需要标定8个眼睛边界点和一个瞳孔中心点，通过计算瞳孔中心点和眼角点的欧式距离可以判断眼睛的注视方向；

二、标签制作：

关键点的标签使用heatmap的形式，每一张眼睛图片对应一张相应的heatmap；

三、注视区域计算：

总共需要计算8个值(x1-x8),假设瞳孔左移则瞳孔关键点左移，x1相应变小，x5变大，反之则x1变大，x5变小，上移和下移计算同理，通过分析x1-x8的距离可以得到眼睛的注视方向；其中计算方式使用欧式距离如下：

其中，(x1,y1)表示在直角坐标系中的横纵坐标，

模型总体流程如下所示：

模型的基础架构使用mobilev3，这样可以使得模型参数小，处理时间短，这里需要粗定位模块人眼检测模块用来粗略定位人眼，然后使用关键点模块定位眼的8边界点和瞳孔中心点；

人眼检测模块对多个尺度进行检测，需要预测四个值(x1,y1,w,h)用来代表检测框的中心点和宽高；根据坐标按比例去feauture map中提取对应部分送入关键点检测模块；

关键点检测模块会对map向上卷积插值直到原图大小，需要预测八个眼睛角点和一个瞳孔中心点，这里直接预测heatmap图，这里还需使用一个相似向量(这里预设4维)来区分瞳孔中心点和眼睛角点。