[发明专利]基于匹配特征的三维注视点估计及三维眼动模型建立方法

说明书

本发明公开了一种基于匹配特征的三维注视点估计及三维眼动模型建立方法，以眼动数据和立体视频刺激数据作为输入，首先同步提取眼动特征集；训练一个高斯过程回归模型来估计观察者的注视视线向量；将视线与刺激显示面相交来获得二维屏幕注视点位置；用观察者眼动特征数据、视线向量数据和立体视图的视差数据的匹配特征集来训练梯度提升回归模型，进一步获取注视深度；最终通过组合二维屏幕注视点及其相应的注视深度来获得观察者三维注视点的坐标，构建被测者观看立体视频刺激时的三维眼动感知模型。本发明具有高采样精度，深度学习和智能数据处理强大的数据处理能力对眼动数据和三维立体视频数据进行同步处理，因而算法精度也得到了提高。

技术领域

本发明涉及深度学习和智能数据分析等技术领域，特别是涉及一种基于匹配特征的三维注视点估计及三维眼动模型建立方法。

背景技术

传统的基于特征和基于模型的视线估计方法，由于其局部特征(例如轮廓，眼角和眼睛图像的反射)易于提取并且与视线相关，已经被证明在通用环境下表现良好，成为视线估计的主流算法。然而，在不受约束的真实环境中，由于光照变化和其他视觉工件等建模因素的困难，这些方法的应用受到了限制。

发明内容

本发明旨在提出了一种基于匹配特征的三维注视点估计及三维眼动模型建立方法，基于深度学习的方法进行眼部地标定位及基于眼部特征的算法进行视线向量的估计，并结合基于视线匹配视差的注视深度估计方法，完成三维眼动感知模型的特征提取及表达。

本发明的一种基于匹配特征的三维注视点估计及三维眼动模型建立方法，该方法体包括以下步骤：

步骤1、播放三维立体视频，在观察者观看立体视频的同时收到视频刺激产生眼动，采集眼动数据；

步骤2、在所收集的观察者观看三维立体视频过程中利用霍夫变换算法来实现对应红外补光灯的虹膜反射点定位；

步骤3、进行(m,n,p,q)四个虹膜反射点的最小外接圆圆心o₁的位置估计；

步骤4、利用GAZEML深度学习算法进行眼睛区域特征点定位，所述特征点至少包括上下眼睑、虹膜、瞳孔和眼球中心区域；具体包括以下处理：

利用瞳孔中心特征点o相较于眼睛部区域特征点至少包括上、下眼睑，眼球中心的相对位置，进行眼睛区域特征点定位及特征提取；

步骤5、构建眼动数据特征集O₁，该特征集由9个坐标向量v_o→a，v_o→b，...，v_o→g,v_o→h，以及瞳孔中心特征点o的坐标值组成；

步骤6、基于眼动数据特征集O₁，采用高斯回归算法GPR完成左、右眼注视向量(v_xl,v_yl)与(v_xr,v_yr)的回归估计；

步骤7、利用空间平面与直线交点的几何知识，求解左、右眼注视向量(v_xl,v_yl)、(v_xr,v_yr)与左、右刺激平面P_L、P_R的各自交叉点(x_l,y_l),(x_r,y_r)，即为左右眼注视点坐标；

步骤8、以左、右两屏幕注视点的位置(x_l,y_l),(x_r,y_r)为输入，采用人工网络参数化的自组织映射PSOM，求解出三维注视点的位置(X,Y)；