[发明专利]人脸刚体模型及注视点检测的方法、装置及存储介质

权利要求书

1.一种人脸刚体模型生成的方法，其特征在于，包括：

获取图像传感器正向拍摄当前用户的第一可见光人脸图像，并从所述第一可见光人脸图像中获取所述当前用户人脸的预设数量的特征点；

基于所述预设数量的特征点确定所述当前用户的左眼球中心三维坐标、右眼球中心三维坐标以及人脸中心三维坐标；

分别建立所述左眼球中心三维坐标、所述右眼眼球中心三维坐标到所述人脸中心三维坐标的左眼向量和右眼向量，并映射到人脸三维模型中，获得所述当前用户的人脸刚体模型。

2.如权利要求1所述的方法，其特征在于，获取图像传感器正向拍摄当前用户的第一可见光人脸图像，包括：

在所述显示屏幕中最靠近拍摄设备的位置显示第一注视区域；

持续拍摄所述当前用户注视所述第一注视区域时的第二可见光人脸图像，直至确定正向拍摄到所述当前用户的人脸图像；

每拍摄一次，根据所述第二可见光人脸图像确定所述当前用户的人脸朝向与所述显示屏幕的第二交点，以及第二人脸位姿；其中，所述第二人脸位姿用于表示所述当前用户人脸的姿态角度；

判断所述第二交点是否在所述第一注视区域内，且所述第二人脸位姿是否在设定的误差范围内；

若所述第二交点在所述第一注视区域内，且第二人脸位姿在设定的误差范围内，确定正向拍摄到所述当前用户的人脸图像，并将对应的第二可见光人脸图像作为所述第一可见光人脸图像。

3.如权利要求2所述的方法，其特征在于，判断所述第二人脸位姿是否在设定的误差范围内，包括：

将所述第二人脸位姿的误差值抽象为以所述第一注视区域的中心为起点的线段，将所述第一注视区域的边界作为所述误差范围的界限值；

判断所述线段是否超出所述第一注视区域；

若所述线段超出所述第一注视区域，则确定所述第二人脸位姿不在所述误差范围内；

若所述线段未超出所述第一注视区域，则确定所述第二人脸位姿在所述误差范围内。

4.如权利要求1所述的方法，其特征在于，基于所述预设数量的特征点确定所述当前用户的左眼球中心三维坐标、右眼球中心三维坐标以及人脸中心三维坐标，包括：

将所述预设数量的特征点对应的像素坐标转换为世界坐标下的三维坐标；

从所述预设数量的特征点中确定出左眼区域特征点和右眼区域特征点；

确定所述左眼区域特征点和所述右眼区域特征点的中心点，并将所述左眼区域特征点的中心点作为左眼中心三维坐标，将所述右眼区域特征点的中心点作为右眼中心三维坐标；

根据预设眼球半径及所述左眼中心三维坐标和所述右眼中心三维坐标，确定左眼眼球中心三维坐标和右眼眼球中心三维；

根据所述预设数量的特征点对应的三维坐标，确定所述人脸中心三维坐标。

5.如权利要求1所述的方法，其特征在于，获得所述当前用户的人脸刚体模型后，还包括：

在显示屏幕的中心显示第二注视区域，并获取所述当前用户注视所述第二注视区域时拍摄的第三可见光人脸图像和第三红外人脸图像；

基于所述第三可见光人脸图像确定所述当前用户的第三人脸位姿，并检测所述第三红外图像中左眼瞳孔和右眼瞳孔的中心位置，获得左眼瞳孔中心三维坐标和右眼瞳孔中心坐标；其中，所述第三人脸位姿用于表示所述当前用户人脸的姿态角度；

通过所述第三人脸位姿更新所述人脸刚体模型的姿态，并结合所述左眼瞳孔中心三维坐标和所述右眼瞳孔中心坐标，获得所述当前用户的当前注视点；

判断所述当前注视点是否在所述第二注视区域内；

若不在所述第二注视区域内，将所述当前注视点移动到所述第二注视区域内，根据移动的距离对所述人脸刚体模型中的所述左眼向量和右眼向量进行微调，获得校正后的人脸刚体模型。