[发明专利]视线角度估计方法和装置、存储介质、电子设备

说明书

本公开实施例公开了一种视线角度估计方法和装置、存储介质、电子设备，其中，方法包括：确定待检测图像中包括的眼部区域；对所述眼部区域进行特征提取，得到所述眼部区域对应的眼部区域特征；基于所述眼部区域特征，确定所述眼部区域中的双眼对应的角度区间向量和所述眼部区域中的双眼对应的偏移角度向量；基于所述角度区间向量和所述偏移角度向量，确定所述眼部区域中的双眼对应的视线角度。本公开实施例通过定位角度区间结合偏移角度，提升了视线角度估计的精度，并且由于本公开实施例以眼部区域为基础进行处理，可以适应各种幅度的头部姿态，提升视线角度估计方法的鲁棒性。

技术领域

本公开涉及计算机视觉技术，尤其是一种视线角度估计方法和装置、存储介质、电子设备。

背景技术

视线角度估计就是从眼睛图片或人脸图片中推导出人的视线方向。在人机交互中，让计算机自动去估计人眼观察方向，即视线角度估计，是很重要的应用；例如，在驾驶过程中，通过视线角度估计，可以来预测驾驶员的当前状态，是否出现分神、疲劳等情况，从而控制汽车执行一系列对应的操作和/或提醒。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种视线角度估计方法和装置、存储介质、电子设备。

根据本公开实施例的一个方面，提供了一种视线角度估计方法，包括：

确定待检测图像中包括的眼部区域；

对所述眼部区域进行特征提取，得到所述眼部区域对应的眼部区域特征；

基于所述眼部区域特征，确定所述眼部区域中的双眼对应的角度区间向量和所述眼部区域中的双眼对应的偏移角度向量；

基于所述角度区间向量和所述偏移角度向量，确定所述眼部区域中的双眼对应的视线角度。

根据本公开实施例的另一方面，提供了一种神经网络训练方法，所述神经网络包括特征提取分支网络、第一定位分支网络和第二定位分支网络；包括：

将样本眼部图像输入所述神经网络，经所述神经网络的特征提取分支网络对所述样本眼部图像进行特征提取，得到样本眼部特征；其中，所述样本眼部图像中包括一个人脸的双眼，所述样本眼部图像中的双眼具有对应的已知视线角度；

利用所述第一定位分支网络和所述第二定位分支网络对所述样本眼部特征进行处理，得到所述样本眼部图像中的双眼对应的预测视线角度；

基于所述预测视线角度和所述已知视线角度确定第一损失；

基于所述第一损失确定网络损失，基于所述网络损失对所述神经网络进行训练。

根据本公开实施例的又一方面，提供了一种视线角度估计装置，包括：

区域提取模块，用于确定待检测图像中包括的眼部区域；

特征提取模块，用于对所述区域提取模块获得的每个所述眼部区域进行特征提取，得到每个所述眼部区域对应的眼部区域特征；

区间估计模块，用于基于所述特征提取模块得到的眼部区域特征，确定所述眼部区域中的双眼对应的角度区间向量和所述眼部区域中的双眼对应的偏移角度向量；

角度确定模块，用于基于所述区间估计模块确定的角度区间向量和偏移角度向量，确定所述眼部区域中的双眼对应的视线角度。

根据本公开实施例的还一方面，提供了一种神经网络训练装置，所述神经网络包括特征提取分支网络、第一定位分支网络和第二定位分支网络；包括：

特征提取模块，用于将样本眼部图像输入所述神经网络，经所述神经网络的特征提取分支网络对所述样本眼部图像进行特征提取，得到样本眼部特征；其中，所述样本眼部图像中包括一个人脸的双眼，所述样本眼部图像中的双眼具有对应的已知视线角度；