[发明专利]一种基于眼动追踪的目标跟踪方法、系统及存储介质

说明书

本发明提供了一种基于眼动追踪的目标检测方法、系统及存储介质。所公开的方案包括获取眼动信息和目标检测信息，根据眼动信息确定人眼在前景图像中的显示中心视觉区域；之后判断并显示中心视觉区域处的目标检测信息，输出中心视觉区域处物体的预测位置和预测类别信息。本发明将眼动追踪技术与目标检测技术结合，针对性检测出人眼注视区域目标，便于获取用户兴趣点。

技术领域

本发明属于视觉技术领域，具体涉及一种基于眼动追踪的目标跟踪方法。

背景技术

眼动追踪可以反映眼睛运动与注视点变化之间的位置关系，但是却不能明确注视点到底是什么物体，需要后续人工识别和判断，从而分析运动员的身体状况，了解运动员心理变化过程，以便制定更为科学的训练方法。

将目标检测运用于VR/AR环境可以完成对物体的识别和定位，但是目前的目标检测算法是对图像中所有感兴趣的物体进行物体定位和物体分类，功耗高，无针对性，且会产生很多无关信息。

发明内容

针对现有技术存在的不足，本发明一方面提供了一种基于眼动追踪的目标检测方法。

为此，本发明所提供的方法包括以下步骤：

步骤1，采集同一人的人眼区域视频流I_t和人眼所能看到的前景视频流G_t；

步骤2，采用瞳孔中心检测方法识别人眼区域视频流I_t每一帧的瞳孔中心坐标；

步骤3，采用YOLO目标检测方法获取人眼所能看到的前景视频流G_t中每一帧的目标检测信息，每一帧的目标检测信息包括该帧中的所有目标、各目标的预测位置坐标、各目标的预测位置中心点、各目标的预测类别和各目标属于预测类别的置信度；

步骤4，将步骤2所得每一帧瞳孔中心坐标映射至前景视频流中，得到每一帧瞳孔中心坐标在前景视频流中的中心视觉区域，每一帧瞳孔中心坐标在前景视频流中的中心视觉区域包括中心点坐标和中心视觉区域半径，其中，采用水平垂直方向注视跟踪算法计算每一帧中心视觉区域的中心点坐标，中心视觉区域半径采用式(1)计算；

式(1)中：

R为任一帧的中心视觉区域的半径；

pr°为人眼中央凹视觉范围，具体可根据行业习惯取值；

M＝(X_t-x_t*α),(Y_t-y_t*ω),Dis

x_t为所述任一帧的瞳孔中心的水平坐标，y_t为所述任一帧的瞳孔中心的垂直坐标；

X_t为所述任一帧的中心视觉区域中心点的水平坐标，Y_t为所述任一帧的中心视觉区域中心点的垂直坐标；

α为拍摄前景视频流G_t的第一摄像头水平分辨率与拍摄人眼区域视频流I_t的第二摄像头水平分辨率的比值；ω为拍摄前景视频流G_t的第一摄像头垂直分辨率与拍摄人眼区域视频流I_t的第二摄像头垂直分辨率的比值；

Dis为第一摄像头与第二摄像头之间的像素距离；

步骤5，计算人眼所能看到的前景视频流G_t中每一帧中各目标的判断因子，将每一帧中判断因子最大的目标作为人眼感兴趣目标；其中G_t中任一帧任一目标的判断因子DBIOU采用式(2)计算；

DBIOU＝DIOU+β*CF (2)