[发明专利]人脸图像姿态估计和校正方法、系统、介质及电子设备

权利要求书

1.一种人脸图像姿态估计和校正方法，其特征在于，包括：

收集人脸图像数据并标注人脸关键点，计算人脸的旋转平移向量标签，建立训练数据集和测试数据集；其中，所述计算人脸的旋转平移向量标签具体包括：获取图像坐标系、世界坐标系与相机坐标系三者之间的相互转换关系；利用第二预设函数求解对应的旋转矩阵与平移向量，并通过第三预设函数将所述旋转矩阵转换为旋转向量，进而得到所述旋转平移向量标签；

设置旋转平移向量损失函数，利用所述训练数据集训练搭建的卷积神经网络模型，直至所述旋转平移向量损失函数计算得到的损失达到预设阈值时停止训练；

利用所述测试数据集评估训练得到的卷积神经网络模型，以从中选择一最优的卷积神经网络模型作为目标网络模型；

通过所述目标网络模型获得所述人脸图像的旋转平移矩阵，进而通过第一预设函数计算旋转偏移矩阵，以通过仿射变换对齐校正所述人脸图像。

2.根据权利要求1所述的人脸图像姿态估计和校正方法，其特征在于，所述人脸关键点包括所述人脸图像上左眼中心、右眼中心、鼻子、左嘴角以及右嘴角五个关键点信息。

3.根据权利要求1所述的人脸图像姿态估计和校正方法，其特征在于，所述旋转平移向量损失函数的公式如下：

其中，f(x)是所述卷积神经网络模型预测的旋转平移向量输出值，Y是所述旋转平移向量标签。

4.根据权利要求1所述的人脸图像姿态估计和校正方法，其特征在于，还包括将所述人脸图像缩放成固定尺寸，并减去像素均值归一化到[-1,1]区间。

5.根据权利要求1所述的人脸图像姿态估计和校正方法，其特征在于，还包括通过所述旋转平移矩阵获得人脸姿态欧拉角。

6.根据权利要求1所述的人脸图像姿态估计和校正方法，其特征在于，所述卷积神经网络模型包括resnet18、mobelnet、efficientnet以及shufflenet网络中的至少一种模型。

7.一种人脸图像姿态估计和校正系统，其特征在于，包括：

收集模块，用于收集人脸图像数据并标注人脸关键点，计算人脸的旋转平移向量标签，建立训练数据集和测试数据集；其中，所述计算人脸的旋转平移向量标签具体包括：获取图像坐标系、世界坐标系与相机坐标系三者之间的相互转换关系；利用第二预设函数求解对应的旋转矩阵与平移向量，并通过第三预设函数将所述旋转矩阵转换为旋转向量，进而得到所述旋转平移向量标签；

训练模块，用于设置旋转平移向量损失函数，利用所述训练数据集训练搭建的卷积神经网络模型，直至所述旋转平移向量损失函数计算得到的损失达到预设阈值时停止训练；

选择模块，用于利用所述测试数据集评估训练得到的卷积神经网络模型，以从中选择一最优的卷积神经网络模型作为目标网络模型；

校正模块，用于通过所述目标网络模型获得所述人脸图像的旋转平移矩阵，进而通过第一预设函数计算旋转偏移矩阵，以通过仿射变换对齐校正所述人脸图像。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任一项所述人脸图像姿态估计和校正方法。

9.一种电子设备，其特征在于，所述电子设备包括：存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至6中任一项所述人脸图像姿态估计和校正方法。