[发明专利]视线估计方法、装置、电子设备及存储介质

权利要求书

1.一种视线估计方法，其特征在于，所述方法包括：

获取人脸图像；

获取人脸图像中的眼部轮廓，并基于所述眼部轮廓从所述人脸图像中裁剪出眼部图像；

将所述眼部图像输入视线估计模型，得到视线向量，所述视线估计模型为根据样本眼部图像，以及与所述样本眼部图像对应的轮廓标注信息和标注向量训练神经网络模型得到，所述轮廓标注信息包括眼部轮廓和瞳孔轮廓。

2.根据权利要求1所述的方法，其特征在于，所述获取人脸图像中的眼部轮廓，并基于所述眼部轮廓从所述人脸图像中，裁剪出眼部图像包括：

使用人脸关键点检测算法检测所述人脸图像，得到眼部轮廓；

获取所述眼部轮廓左右边缘的坐标点；

根据所述左右边缘的坐标点确定眼部宽度，以及眼部中心点；

根据所述眼部中心点以及所述眼部宽度，确定裁剪框；

基于所述裁剪框从所述人脸图像中裁剪出眼部图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述眼部中心点以及眼部宽度，确定裁剪框，包括：

根据所述眼部宽度计算第一扩展尺寸和第二扩展尺寸，所述第一扩展尺寸表示在上下方向上的扩展尺寸，所述第二扩展尺寸表示在左右方向上的扩展尺寸；

基于所述眼部中心点，在上下方向上各扩展所述第一扩展尺寸，在左右方向上各扩展所述第二扩展尺寸，得到所述裁剪框。

4.根据权利要求1所述的方法，其特征在于，所述视线估计模型通过以下步骤获得：

获取样本集，所述样本集包括样本眼部图像，以及与所述样本眼部图像对应的轮廓标注信息以及标注向量，所述轮廓标注信息包括眼部轮廓以及瞳孔轮廓；

将所述样本眼部图像输入神经网络模型，输出与所述样本眼部图像对应的热图，以及与所述样本眼部图像对应的视线向量；

根据所述轮廓标注信息和所述热图之间的第一损失，以及所述标注向量和所述视线向量之间的第二损失训练神经网络模型，得到所述视线估计模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述轮廓标注信息和所述热图之间的第一损失，以及所述标注向量和所述视线向量之间的第二损失训练神经网络模型，得到所述视线估计模型，包括：

计算所述第一损失与所述第二损失的和为目标损失；

根据所述目标损失确定所述神经网络模型是否收敛；

在所述神经网络模型收敛时，得到所述视线估计模型；

在所述神经网络模型未收敛时，调整神经网络模型的参数，直到所述神经网络模型收敛。

6.根据权利要求4或5所述的方法，其特征在于，所述第一损失为交叉熵，所述第二损失为均方误差。

7.根据权利要求4所述的方法，其特征在于，所述获取样本集包括：

获取样本人脸图像；

使用Unity工具标注出所述样本人脸图像中的眼部轮廓以及瞳孔轮廓，得到轮廓标注信息；

获取多个标注人员标注所述样本人脸图像得到的多个候选标注向量，通过截尾均值法对所述多个候选标注向量进行计算，得到所述标注向量；

获取样本人脸图像中的眼部轮廓，并基于所述眼部轮廓从所述人脸图像中，裁剪出样本眼部图像。

8.根据权利要求1所述的方法，其特征在于，所述将所述眼部图像输入视线估计模型，得到视线向量之后还包括：

确定在得到所述视线向量之前接收到预设数量张人脸图像为历史图像；

获取与所述历史图像对应的视线向量为历史向量；

结合所述历史向量，使用高斯滤波对所述视线向量进行处理得到目标视线向量。