[发明专利]模型训练、虚拟人物图像生成方法和装置以及存储介质

权利要求书

1.一种模型训练方法，其中，虚拟人物图像生成模型包括至少一个待训练的第一子模型，训练标注模型包括至少一个训练好的第二子模型，所述第一子模型包括：面部关键点偏差估计模型，所述第二子模型包括：第一3D重建模型；所述方法包括：

对视频样本进行分离处理，获取与所述视频样本相对应的音频信息和图像信息；

根据所述音频信息、所述图像信息和与所述图像信息相对应的人物基准图像生成训练样本集合，并且，根据所述图像信息和所述人物基准图像生成比对样本集合；

使用所述第一子模型并基于所述训练样本集中的训练样本获得第一特征信息；其中，训练样本包括：音频样本；使用所述面部关键点偏差估计模型并基于所述音频样本获得面部关键点偏差信息；

使用对应的第二子模型并基于所述比对样本集中的比对样本获得第二特征信息；其中，比对样本包括：与音频样本相对应的图像样本；使用所述第一3D重建模型并基于所述图像样本获得第一3D人物模型；

根据所述第一特征信息与所述第二特征信息或所述图像信息的比对结果对所述第一子模型的参数进行调整，用以获得训练好的所述虚拟人物图像生成模型，包括：根据所述面部关键点偏差信息获取第二3D人物模型，根据所述第一3D人物模型和所述第二3D人物模型的比对结果计算第二估计损失并对面部关键点偏差估计模型的参数进行调整。

2.如权利要求1所述的方法，还包括：

设置所述第一子模型与所述第二子模型的对应关系；

基于所述对应关系在所述训练样本集中选取与所述第一子模型相对应的训练样本，并在所述比对样本集合中选取与所述第二子模型相对应的比对样本。

3.如权利要求2所述的方法，所述第一子模型包括：第一姿态估计模型，所述第二子模型包括：第二姿态估计模型；所述训练样本包括：音频样本，所述比对样本包括：与所述音频样本相对应的图像样本；

所述使用所述第一子模型并基于所述训练样本集中的训练样本获得第一特征信息包括：

使用所述第一姿态估计模型并基于所述音频样本获得第一人物姿态信息；

所述使用对应的第二子模型并基于所述比对样本集中的比对样本获得第二特征信息包括：

使用所述第二姿态估计模型并基于所述图像样本获得第二人物姿态信息；

所述根据所述第一特征信息与所述第二特征信息或所述图像信息的比对结果对所述第一子模型的参数进行调整包括：

根据所述第一人物姿态信息和所述第二人物姿态信息的比对结果计算第一估计损失；

根据所述第一估计损失对所述第一姿态估计模型的参数进行调整。

4.如权利要求2所述的方法，所述第二子模型还包括：第二3D重建模型；所述比对样本包括：与所述图像样本相对应的人物基准图像样本；所述根据所述面部关键点偏差信息获取第二3D人物模型包括：

使用所述第二3D重建模型并基于所述人物基准图像样本获得3D人物基准模型；

根据所述3D人物基准模型与所述面部关键点偏差信息进行合成处理，生成所述第二3D人物模型。

5.如权利要求2所述的方法，所述第一子模型包括：第一生成器，所述第二子模型包括：人脸解析模型；所述训练样本包括：图像样本和人物基准图像样本，所述比对样本包括图像样本；

所述使用所述第一子模型并基于所述训练样本集中的训练样本获得第一特征信息包括：

基于所述图像样本获取第三3D人物模型；

使用所述第一生成器并基于所述第三3D人物模型和所述人物基准图像样本获得第一人脸解析图；

所述使用对应的第二子模型并基于所述比对样本集中的比对样本获得第二特征信息包括：

使用所述人脸解析模型并基于所述图像样本获得第二人脸解析图；

所述根据所述第一特征信息与所述第二特征信息或所述图像信息的比对结果对所述第一子模型的参数进行调整包括：

根据所述第一人脸解析图和所述第二人脸解析图的比对结果计算第三估计损失；

根据所述第三估计损失对所述第一生成器的参数进行调整。