[发明专利]视线方向确定方法、装置、电子设备及存储介质

说明书

本公开提供了一种视线方向确定方法、装置、电子设备及存储介质，其中，该视线方向确定方法包括：获取目标对象的人脸图像和人眼图像，在人脸图像中提取目标对象的面部特征；根据目标对象的面部特征和人眼图像确定目标对象的眼睛特征；基于面部特征预测目标对象的初始视线方向，以及，基于由面部特征和眼睛特征融合后的特征，预测得到视线残差信息；基于视线残差信息对初始视线方向进行修正，得到目标对象的视线方向。

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种视线方向确定方法、装置、电子设备及存储介质。

背景技术

目前，视线追踪是计算机视觉中的一个重要领域，视线追踪的主要目的在于预测用户的视线方向，同时，用户的视线方向往往和用户的个人意图相关，这使得视线追踪技术在用户的意图理解中有着重要的作用，因此如何准确地确定用户的视线方向就变得尤为重要。

发明内容

本公开实施例至少提供一种视线方向确定方案。

第一方面，本公开实施例提供了一种视线方向确定方法，包括：

获取目标对象的人脸图像和人眼图像；

在所述人脸图像中提取所述目标对象的面部特征；

根据所述目标对象的面部特征和所述人眼图像确定所述目标对象的眼睛特征；

基于所述面部特征预测所述目标对象的初始视线方向，以及，基于由所述面部特征和所述眼睛特征融合后的特征，预测得到视线残差信息；

基于所述视线残差信息对所述初始视线方向进行修正，得到所述目标对象的视线方向。

本公开实施例提供的视线方向确定方法，在基于人脸图像中提取到目标对象的面部特征，该面部特征能够预测目标对象的初始视线方向，在基于面部特征和人眼图像确定目标对象的眼睛特征后，可以通过由面部特征和眼睛特征融合后的特征来预测表征目标对象的实际视线方向与初始视线方向之间的差异信息，即视线残差信息，然后再通过该差异信息调整仅仅根据面部特征预测的初始视线方向，即能够得到更接近实际视线方向的视线方向，可见本公开实施例提出的视线确定方法能够预测得到更加准确的视线方向。

在一种可能的实施方式中，所述人眼图像包括左眼图像和右眼图像，所述根据所述目标对象的面部特征和所述人眼图像确定所述目标对象的眼睛特征，包括：

在所述左眼图像中提取左眼特征；

在所述右眼图像中提取右眼特征；

根据所述面部特征、所述左眼特征和所述右眼特征，确定所述左眼特征对应的第一权重和所述右眼特征对应的第二权重；

基于所述第一权重以及所述第二权重，对所述左眼特征和所述右眼特征进行加权求和，得到所述眼睛特征。

本公开实施例通过将面部特征与左眼特征进行结合，以及将面部特征与右眼图像进行结合，分别确定出左眼图像和右眼图像在确定视线方向时的不同贡献，从而确定出准确度较高的眼睛特征，进而便于提高视线残差信息的准确度。

在一种可能的实施方式中，所述根据所述面部特征、所述左眼特征和所述右眼特征，确定所述左眼特征对应的第一权重和所述右眼特征对应的第二权重，包括：

根据所述面部特征和所述左眼特征确定所述左眼特征的第一分值，以及，根据所述面部特征和所述右眼特征确定所述右眼特征的第二分值；

基于所述第一分值和第二分值，确定所述第一权重和第二权重。

在一种可能的实施方式中，所述基于所述面部特征预测所述目标对象的初始视线方向，包括：

确定所述面部特征中各个特征点的权重，并基于所述面部特征中各个特征点的权重，对所述面部特征进行调整；