[发明专利]模型训练方法、3D人脸重建方法、装置及存储介质

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取第N次执行所述模型训练方法所用到的二维人脸图像样本；

基于神经网络模型中的3D人脸预测模块，预测与所述二维人脸图像样本对应的N个三维坐标点的三维坐标值；以及基于所述神经网络模型中的3D人脸补偿模块，预测所述二维人脸图像样本的补偿参数；所述3D人脸补偿模块包括贴图模块和/或光照模块，当所述3D人脸补偿模块为所述贴图模块时，所述补偿参数为人脸贴图，当所述3D人脸补偿模块为光照模块时，所述补偿参数为光照系数；

对所述补偿参数和所述N个三维坐标点的三维坐标值进行渲染，得到与所述二维人脸图像样本对应的预测二维人脸图像；

基于所述预测二维人脸图像和所述二维人脸图像样本计算训练损失；以及，基于所述第N次确定所述神经网络模型所处的训练阶段，所述训练阶段表征对所述3D人脸补偿模块和所述光照模块的优化方式；

按照所述训练阶段表征的优化方式，采用所述训练损失对所述神经网络模型的参数进行优化，更新N＝N+1，并执行第N+1次所述模型训练方法，直至所述神经网络模型收敛。

2.根据权利要求1所述的方法，其特征在于，所述3D人脸补偿模块包括贴图模块和光照模块；

对所述补偿参数和所述N个三维坐标点的三维坐标值进行渲染，得到与所述二维人脸图像样本对应的预测二维人脸图像，包括：

获取所述二维人脸图像样本的去光图像；对所述人脸贴图、所述光照系数以及所述N个三维坐标点的三维坐标值进行渲染，预测所述二维人脸图像样本对应的渲染图像；对所述人脸贴图和所述N个三维坐标点的三维坐标值进行渲染，预测所述二维人脸图像样本对应的无光照渲染图像；

将所述去光图像、所述渲染图像和所述无光照渲染图像作为所述预测二维人脸图像。

3.根据权利要求2所述的方法，其特征在于，基于所述预测二维人脸图像和所述二维人脸图像样本计算训练损失，包括：

基于所述二维人脸图像样本和所述渲染图像，分别计算所述渲染图像的损失、人脸识别模型特征损失、分类模型特征损失、嘴唇轮廓损失以及眼睛轮廓损失；基于所述去光图像和所述无光照渲染图像，计算所述无光照渲染图像的损失；基于所述二维人脸图像样本和所述无光照渲染图像，计算人脸关键点的损失；

基于所述渲染图像的损失、所述人脸识别模型特征损失、所述分类模型特征损失、所述嘴唇轮廓损失、所述眼睛轮廓损失以及所述无光照渲染图像的损失、所述人脸关键点的损失，计算所述训练损失。