[发明专利]人脸刚体模型及注视点检测的方法、装置及存储介质

说明书

本发明公开了人脸刚体模型及注视点检测的方法、装置及存储介质，该人脸刚体模型的生成方法包括：获取图像传感器正向拍摄当前用户的第一可见光人脸图像，并从第一可见光人脸图像中获取当前用户人脸的预设数量的特征点；基于预设数量的特征点确定当前用户的左眼球中心三维坐标、右眼球中心三维坐标以及人脸中心三维坐标；分别建立左眼球中心三维坐标、右眼眼球中心三维坐标到人脸中心三维坐标的左眼向量和右眼向量，并映射到人脸三维模型中，获得当前用户的人脸刚体模型。

技术领域

本发明涉及机器视觉领域，尤其是涉及人脸刚体模型及注视点检测的方法、装置及存储介质。

背景技术

目前，空间视线追踪系统多采用多项式模型映射的方法，一般采用9点标定方法，即通过人眼依次注视屏幕(相当于一个二维平面)上的9个标定点，从而得到瞳孔到屏幕之间的坐标映模型，利用该模型计算屏幕上的注视点坐标。

尽管该9点标定方法在人脸保持静止的情况下具有较高的精度，但是当人脸发生移动或者旋转后，由于人脸位姿变化后，历史9点标定得到的多项式模型不再适用于当前人脸位姿下的视线计算，使得注视点计算精度出现大幅下降。

发明内容

本发明提供人脸刚体模型及注视点检测的方法、装置及存储介质，用以解决现有技术中存在的上述技术问题。

第一方面，为解决上述技术问题，本发明实施例提供的人脸刚体模型生成的方法的技术方案如下：

获取图像传感器正向拍摄当前用户的第一可见光人脸图像，并从所述第一可见光人脸图像中获取所述当前用户人脸的预设数量的特征点；

基于所述预设数量的特征点确定所述当前用户的左眼球中心三维坐标、右眼球中心三维坐标以及人脸中心三维坐标；

分别建立所述左眼球中心三维坐标、所述右眼眼球中心三维坐标到所述人脸中心三维坐标的左眼向量和右眼向量，并映射到人脸三维模型中，获得所述当前用户的人脸刚体模型。

一种可能的实施方式，获取图像传感器正向拍摄当前用户的第一可见光人脸图像，包括：

在所述显示屏幕中最靠近拍摄设备的位置显示第一注视区域；

持续拍摄所述当前用户注视所述第一注视区域时的第二可见光人脸图像，直至确定正向拍摄到所述当前用户的人脸图像；

每拍摄一次，根据所述第二可见光人脸图像确定所述当前用户的人脸朝向与所述显示屏幕的第二交点，以及第二人脸位姿；其中，所述第二人脸位姿用于表示所述当前用户人脸的姿态角度；

判断所述第二交点是否在所述第一注视区域内，且所述第二人脸位姿是否在设定的误差范围内；

若所述第二交点在所述第一注视区域内，且第二人脸位姿在设定的误差范围内，确定正向拍摄到所述当前用户的人脸图像，并将对应的第二可见光人脸图像作为所述第一可见光人脸图像。

一种可能的实施方式，判断所述第二人脸位姿是否在设定的误差范围内，包括：

将所述第二人脸位姿的误差值抽象为以所述第一注视区域的中心为起点的线段，将所述第一注视区域的边界作为所述误差范围的界限值；

判断所述线段是否超出所述第一注视区域；

若所述线段超出所述第一注视区域，则确定所述第二人脸位姿不在所述误差范围内；

若所述线段未超出所述第一注视区域，则确定所述第二人脸位姿在所述误差范围内。

一种可能的实施方式，基于所述预设数量的特征点确定所述当前用户的左眼球中心三维坐标、右眼球中心三维坐标以及人脸中心三维坐标，包括：

将所述预设数量的特征点对应的像素坐标转换为世界坐标下的三维坐标；