[发明专利]三维人脸模型建立方法、装置、电子设备及存储介质

权利要求书

1.一种三维人脸模型建立方法，其特征在于，包括：

获取包含人脸区域的二维样本图像，确定所述二维样本图像的样本图像特征；

基于所述样本图像特征，确定预先建立的三维形变模型中的模型参数值和与所述二维样本图像对应的样本姿态参数，基于各所述模型参数值生成三维人脸模型；

将所述三维人脸模型和所述姿态参数输入至预先建立的可微分渲染模型中，生成与所述二维样本图像对应的二维渲染图像；

将所述二维样本图像与所述二维渲染图像进行对比，基于对比结果调整所述模型参数值，将调整后的所述模型参数值对应的三维形变模型确定为目标三维人脸模型。

2.根据权利要求1所述的方法，其特征在于，所述确定所述二维样本图像的样本图像特征，包括：

将所述二维样本图像输入至预先建立的人脸解析网络中，生成与所述二维样本图像对应的包含人脸关键点的二维掩膜图像；

对所述二维样本图像和所述二维掩膜图像进行拼接操作，生成拼接图像，将所述拼接图像输入至编解码网络中，生成所述样本图像特征。

3.根据权利要求2所述的方法，其特征在于，所述将所述二维样本图像与所述二维渲染图像进行对比，基于对比结果调整所述模型参数值，包括：

基于所述二维样本图像和所述二维渲染图像计算模型损失函数；

确定所述模型损失函数满足预设状态时对应的所述三维形变模型的最优模型参数值，基于所述最优模型参数值更新所述模型参数值。

4.根据权利要求3所述的方法，其特征在于，所述基于所述二维样本图像和所述二维渲染图像计算模型损失函数，包括：

基于所述二维样本图像、所述二维掩膜图像和所述二维渲染图像，确定图像损失函数；

确定所述二维渲染图像对应的渲染掩膜图像，基于所述渲染掩膜图像和所述二维掩膜图像，确定掩膜损失函数；

将所述二维样本图像和所述二维渲染图像分别输入至关键点检测模型中，确定出所述二维样本图像中的各关键点的样本关键点坐标和所述二维渲染图像中的各关键点的渲染关键点坐标；

基于所述样本关键点坐标和所述渲染关键点坐标，确定关键点损失函数；

将所述图像损失函数、所述掩膜损失函数和所述关键点损失函数进行加权求和计算时对应的函数确定为所述模型损失函数。

5.根据权利要求3所述的方法，其特征在于，所述确定所述模型损失函数满足预设状态时对应的所述三维形变模型的最优模型参数值，基于所述最优模型参数值更新所述模型参数值，包括：

根据所述模型损失函数确定对应的模型损失值，若所述模型损失值不满足所述预设状态，基于所述模型损失值更新所述模型参数值；

从预先建立的二维样本图像集中重新获取二维样本图像，基于重新获取的二维样本图像和更新后的所述模型参数值，按照梯度下降的方式重新确定所述模型损失值并进行迭代计算，直到所述模型损失值满足所述预设状态，或者迭代次数达到预设阈值。

6.根据权利要求1所述的方法，其特征在于，所述基于所述样本图像特征，确定预先建立的三维形变模型中的模型参数值和与所述二维样本图像对应的样本姿态参数，包括：

将所述样本图像特征输入至预先建立的参数回归网络中，基于所述参数回归网络的输出结果，确定出所述三维形变模型中的所述模型参数值和所述样本姿态参数。

7.根据权利要求6所述的方法，其特征在于，所述样本姿态参数包括俯仰参数、偏航参数和翻滚参数；其中，

所述将所述样本图像特征输入至预先建立的参数回归网络中，基于所述参数回归网络的输出结果，确定出所述三维形变模型中的所述模型参数值和所述样本姿态参数，包括：

将所述样本图像特征输入至基于残差神经网络构建的参数回归网络中，基于所述输出结果，确定出所述俯仰参数、所述偏航参数、所述翻滚参数和所述模型参数值。