[发明专利]视线追踪及训练方法和装置、系统、电子设备和存储介质

说明书

本发明实施例公开了一种视线追踪及训练方法和装置、系统、电子设备和存储介质，其中，训练方法包括：利用第一神经网络获取至少一个样本图像中的眼珠转角预估信息，利用第二神经网络获取至少一个样本图像中的头部姿态预估信息；其中，样本图像标注有视线方向标注信息；分别针对任一样本图像，根据眼珠转角预估信息和头部姿态预估信息计算视线方向预估信息；基于至少一个样本图像的视线方向预估信息和视线方向标注信息，对第一神经网络和第二神经网络进行训练。本发明实施例避免了过拟合问题，可以准确地估计视线方向，消除了使用脸部关键点计算眼珠转角和头部姿态的歧义性导致视线估计不准确的问题，对于不同人和不同表情都有更好的鲁棒性。

技术领域

本发明涉及计算机视觉技术，尤其是一种视线追踪及训练方法和装置、系统、电子设备和存储介质。

背景技术

视线追踪在司机监控、广告分析、人机交互、安防监控、医疗诊断、心理学研究等方面的应用中起重要作用。目前，视线追踪也已开始应用于进行控制和焦点渲染的虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)设备。

现有的视线追踪方法主要有两种：基于眼球模型的视线估计方法和基于眼睛图像估计的视线估计方法。其中，基于眼球模型的视线估计方法，是从眼睛图像里面提取几何信息，如瞳孔中心位置、虹膜边缘形状等几何信息，基于提取的几何信息来计算视线方向。基于眼睛图像的视线估计方法，是直接将眼睛图像和头部姿态映射为视线角度。其中的映射方法有高斯过程回归、局部插值、随机森林和神经网络。

发明内容

本发明实施例提供一种用于进行视线追踪及其神经网络训练的技术方案。

根据本发明实施例的一个方面，提供的一种视线追踪神经网络的训练方法，包括：

利用第一神经网络获取至少一个样本图像中的眼珠转角预估信息，利用第二神经网络获取所述至少一个样本图像中的头部姿态预估信息；其中，所述样本图像标注有视线方向标注信息；

分别针对所述至少一个样本图像中的任一样本图像，根据所述任一样本图像的眼珠转角预估信息和头部姿态预估信息，计算视线方向预估信息；

基于所述至少一个样本图像的所述视线方向预估信息和所述视线方向标注信息，对所述第一神经网络和所述第二神经网络进行训练。

根据本发明实施例的另一个方面，提供的一种视线追踪方法，包括：

获取目标图像；

利用第一神经网络获取所述目标图像中的眼珠转角预估信息，以及利用第二神经网络获取所述目标图像中的头部姿态预估信息；

基于所述眼珠转角预估信息和所述头部姿态预估信息，计算所述目标图像的视线方向预估信息。

根据本发明实施例的又一个方面，提供的一种视线追踪神经网络的训练装置，包括：

第一获取模块，用于分别针对至少一个样本图像中的任一样本图像，根据第一神经网络获取到的眼珠转角预估信息和第二神经网络获取到的头部姿态预计信息，计算视线方向预估信息；其中，所述样本图像标注有视线方向标注信息；

第一网络训练模块，用于基于所述至少一个样本图像的视线方向预估信息和所述视线方向标注信息，对所述第一神经网络和所述第二神经网络进行训练。

根据本发明实施例的再一个方面，提供的一种视线追踪神经网络的训练系统，包括：第一神经网络、第二神经网络和视线追踪神经网络的训练装置；其中：

所述第一神经网络，用于获取至少一个样本图像中的眼珠转角预估信息，所述样本图像标注有视线方向标注信息；

所述第二神经网络，用于获取所述至少一个样本图像中的头部姿态预估信息；

所述视线追踪神经网络的训练装置，用于：