[发明专利]模型训练方法、3D人脸重建方法、装置及存储介质

说明书

本申请涉及一种模型训练方法、3D人脸重建方法、装置及存储介质。该方法由于在对模型进行训练的过程中引入了补偿参数，所以使得能够得到的训练损失相较于没有补偿参数更准确，更容易让神经网络模型收敛。并且由于在对模型训练的过程中，没有引入PCA基底，所以在使用训练的模型进行3D人脸重建时，也不存在因为PCA基底的精度和维度的影响导致重建精度不高的问题。

技术领域

本申请涉及计算机领域，尤其涉及一种模型训练方法、3D人脸重建方法、装置及存储介质。

背景技术

随着社会的发展，科技的进步，三维(3D)人脸重建技术逐渐成为计算机视觉领域的热门技术。三维人脸重建技术是根据被测个体的单张或多张人脸图像重建出其三维人脸模型。

当前的基于优化和基于学习的3D人脸重建方法，都依赖PCA基底，一方面，受到PCA基底的精度的影响，另一方面，PCA基底维度一般较低，表达能力受限，即便利用神经网络模型来学习人脸的基底系数，得到的基底系数也丢失了很大部分的信息，导致最终重建精度不高。

发明内容

本申请提供了一种模型训练方法、3D人脸重建方法、装置及存储介质，用以解决由于PCA基底的精度和维度的影响导致重建精度不高的问题。

第一方面，提供一种模型训练方法，包括：

获取第N次执行所述模型训练方法所用到的二维人脸图像样本；

基于神经网络模型中的3D人脸预测模块，预测与所述二维人脸图像样本对应的N个三维坐标点的三维坐标值；以及基于所述神经网络模型中的3D人脸补偿模块，预测所述二维人脸图像样本的补偿参数；所述3D人脸补偿模块包括贴图模块和/或光照模块，当所述3D人脸补偿模块为所述贴图模块时，所述补偿参数为人脸贴图，当所述3D人脸补偿模块为光照模块时，所述补偿参数为光照系数；

对所述补偿参数和所述N个三维坐标点的三维坐标值进行渲染，得到与所述二维人脸图像样本对应的预测二维人脸图像；

基于所述预测二维人脸图像和所述二维人脸图像样本计算训练损失；以及，基于所述第N次确定所述神经网络模型所处的训练阶段，所述训练阶段表征对所述3D人脸补偿模块和所述光照模块的优化方式；

按照所述训练阶段表征的优化方式，采用所述训练损失对所述神经网络模型的参数进行优化，更新N＝N+1，并执行第N+1次所述模型训练方法，直至所述神经网络模型收敛。

可选地，所述3D人脸补偿模块包括贴图模块和光照模块；

对所述补偿参数和所述N个三维坐标点的三维坐标值进行渲染，得到与所述二维人脸图像样本对应的预测二维人脸图像，包括：

获取所述二维人脸图像样本的去光图像；对所述人脸贴图、所述光照系数以及所述N个三维坐标点的三维坐标值进行渲染，预测所述二维人脸图像样本对应的渲染图像；对所述人脸贴图和所述N个三维坐标点的三维坐标值进行渲染，预测所述二维人脸图像样本对应的无光照渲染图像；

将所述去光图像、所述渲染图像和所述无光照渲染图像作为所述预测二维人脸图像。

可选地，基于所述预测二维人脸图像和所述二维人脸图像样本计算训练损失，包括：

基于所述二维人脸图像样本和所述渲染图像，分别计算所述渲染图像的损失、人脸识别模型特征损失、分类模型特征损失、嘴唇轮廓损失以及眼睛轮廓损失；基于所述去光图像和所述无光照渲染图像，计算所述无光照渲染图像的损失；基于所述二维人脸图像样本和所述无光照渲染图像，计算人脸关键点的损失；

基于所述渲染图像的损失、所述人脸识别模型特征损失、所述分类模型特征损失、所述嘴唇轮廓损失、所述眼睛轮廓损失以及所述无光照渲染图像的损失、所述人脸关键点的损失，计算所述训练损失。