[发明专利]一种结合肤色和虹膜特征的视线追踪方法

说明书

本发明提供一种结合肤色和虹膜特征的视线追踪方法及系统，包括：采用预先训练好的人脸区域分割模型从包括待测人脸的待测人脸图像中提取得到待测人脸区域；通过增强梯度特征法获取待测人脸区域中预设特征点数量的人脸特征点；根据人脸特征点提取得到眼眶轮廓，并采用滑动窗口搜索获取眼眶轮廓中的虹膜边缘，以根据虹膜边缘计算得到虹膜中心位置；采用投影映射算法来对虹膜中心位置进行校正，结合校正后的人脸特征点和虹膜中心位置得到眼动向量，根据采用投影映射算法校正后的眼动向量计算得到初始注视点坐标，使用SVR模型对初始注视点坐标进行补偿计算，获得最终注视点坐标。本发明不需要额外的硬件性能设备情况下，完成最终注视点坐标计算。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种结合肤色和虹膜特征的视线追踪方法。

背景技术

随着计算机研究的研究和进步，人机交互是现在计算机研究的热点之一，人机交互方式也开始逐渐朝着多方向进行发展延伸。从原来的键鼠操作、手柄控制等传统方式，开始发展到语音识别、手势识别、人眼识别等利用感官体感等多种新模式，使得人机交互变得更为直接，灵活及方便，相对于传统模式更为直观和智能。而其中通过眼睛的视线追踪交互方式收到了广泛关注。

视线追踪技术是通过相应设备采集用户眼睛信息，提取相应特征进行注视点估计映射的过程。视觉交互可与智能控制技术相结合，可作为辅助设备帮助生活不便人群提升自理水平。也可以在用户阅读时，获取到注视位置的变化情况，便可以发现用户感兴趣的内容和操作习惯，能够用以优化广告投放，也可以用在网络授课或线上测试等场景，检测用户当前的学习考试状态。除此之外，也能应用于智能手机、文体娱乐、辅助驾驶等多个领域中。但是目前视线跟踪设备大部分都需要依赖红外光源或是眼动仪等专门的硬件设备，因此目前的视线跟踪设备无法实现在线上测试时对用户的视线进行追踪、监测。

发明内容

针对现有技术中存在的上述问题，现提供一种结合肤色和虹膜特征的视线追踪方法。

具体技术方案如下：

一种结合肤色和虹膜特征的视线追踪方法，其中，包括以下步骤：

步骤S1，采用预先训练好的人脸区域分割模型从包括待测人脸的待测人脸图像中提取得到待测人脸区域；

步骤S2，通过增强梯度特征法获取待测人脸区域中预设特征点数量的人脸特征点；

步骤S3，根据人脸特征点提取得到眼眶轮廓，并采用滑动窗口搜索获取眼眶轮廓中的虹膜边缘，以根据虹膜边缘计算得到虹膜中心位置；

步骤S4，采用投影映射算法来对虹膜中心位置进行校正，结合人脸特征点和校正后的虹膜中心位置得到眼动向量，并采用投影映射算法来对眼动向量进行校正，根据校正后的眼动向量计算得到初始注视点坐标，使用SVR模型对初始注视点坐标进行补偿计算，获得最终注视点坐标。

优选的，视线追踪方法，其中，步骤S1具体包括创建人脸区域分割模型的步骤和提取待测人脸区域的步骤：

创建人脸区域分割模型的步骤具体包括：

步骤S11，获取训练图像集，训练图像集包括多个包括训练人脸的训练人脸图像；

步骤S12，对训练人脸图像进行预处理，以得到处理图像；

步骤S13，将处理图像的从RGB颜色空间映射到YCbCr颜色空间，并获取得到处理图像的每个像素点的色度向量，获取得到训练图像集对应的色度向量样本集，色度向量样本集包括训练图像集中的每个训练图像对应的处理图像的每个像素点的色度向量；

步骤S14，对色度向量样本集的空间分布进行计算，以获取得到肤色值的统计特征；

步骤S15，根据统计特征分析得到肤色均值参数和协方差矩阵参数，以根据肤色均值参数和协方差矩阵参数拟合得到人脸区域分割模型；