[发明专利]视线角度估计方法和装置、存储介质、电子设备

权利要求书

1.一种视线角度估计方法，包括：

确定待检测图像中包括的眼部区域；

对所述眼部区域进行特征提取，得到所述眼部区域对应的眼部区域特征；

基于所述眼部区域特征，确定所述眼部区域中的双眼对应的角度区间向量和所述眼部区域中的双眼对应的偏移角度向量；

基于所述角度区间向量和所述偏移角度向量，确定所述眼部区域中的双眼对应的视线角度。

2.根据权利要求1所述的方法，其中，所述对所述眼部区域进行特征提取，得到所述眼部区域对应的眼部区域特征，包括：

利用神经网络的特征提取分支网络对所述眼部区域进行特征提取，得到所述眼部区域对应的眼部区域特征。

3.根据权利要求2所述的方法，其中，所述基于所述眼部区域特征，确定所述眼部区域中的双眼对应的角度区间向量和所述眼部区域中的双眼对应的偏移角度向量，包括：

利用所述神经网络的第一定位分支网络，基于所述眼部区域特征确定所述眼部区域中的双眼对应的角度区间向量；

利用所述神经网络的第二定位分支网络，基于所述眼部区域特征和所述角度区间向量确定所述眼部区域中的双眼对应的偏移角度向量。

4.根据权利要求1所述的方法，其中，所述视线角度包括左眼的水平视线角度和垂直视线角度，以及右眼的水平视线角度和垂直视线角度；

所述基于所述角度区间向量和所述偏移角度向量，确定所述眼部区域中的双眼对应的视线角度，包括：

将所述角度区间向量与所述偏移角度向量相加，得到视线角度向量；

基于所述视线角度向量确定所述眼部区域的双眼中左眼的水平视线角度和垂直视线角度，以及右眼的水平视线角度和垂直视线角度。

5.一种神经网络训练方法，所述神经网络包括特征提取分支网络、第一定位分支网络和第二定位分支网络；包括：

将样本眼部图像输入所述神经网络，经所述神经网络的特征提取分支网络对所述样本眼部图像进行特征提取，得到样本眼部特征；其中，所述样本眼部图像中包括一个人脸的双眼，所述样本眼部图像中的双眼具有对应的已知视线角度；

利用所述第一定位分支网络和所述第二定位分支网络对所述样本眼部特征进行处理，得到所述样本眼部图像中的双眼对应的预测视线角度；

基于所述预测视线角度和所述已知视线角度确定第一损失；

基于所述第一损失确定网络损失，基于所述网络损失对所述神经网络进行训练。

6.根据权利要求5所述的方法，所述神经网络还包括眼睛分割分支网络；所述样本眼部图像中的双眼还具有对应的已知眼部关键点；

所述将样本眼部图像输入所述神经网络，经所述神经网络的特征提取分支网络对所述样本眼部图像进行特征提取，得到样本眼部特征之后，还包括：

基于所述样本眼部图像对应的已知眼部关键点，确定所述样本眼部图像中的监督虹膜区域、监督眼睑区域和监督背景区域；

利用所述眼睛分割分支网络对所述样本眼部特征进行分割处理，得到分割后的预测虹膜区域、预测眼睑区域和预测背景区域；

基于所述监督虹膜区域、监督眼睑区域和监督背景区域，以及所述预测虹膜区域、预测眼睑区域和预测背景区域，确定第二损失；

所述基于所述第一损失确定网络损失，基于所述网络损失对所述神经网络进行训练，包括：

对所述第一损失和所述第二损失加权求和，得到网络损失；

基于所述网络损失对所述神经网络进行训练。

7.一种视线角度估计装置，包括：

区域提取模块，用于确定待检测图像中包括的眼部区域；

特征提取模块，用于对所述区域提取模块获得的所述眼部区域进行特征提取，得到所述眼部区域对应的眼部区域特征；

区间估计模块，用于基于所述特征提取模块得到的眼部区域特征，确定所述眼部区域中的双眼对应的角度区间向量和所述眼部区域中的双眼对应的偏移角度向量；

角度确定模块，用于基于所述区间估计模块确定的角度区间向量和偏移角度向量，确定所述眼部区域中的双眼对应的视线角度。