[发明专利]模型训练、虚拟人物图像生成方法和装置以及存储介质

说明书

本公开提供了一种模型训练方法和装置、虚拟人物图像生成方法和装置以及存储介质，涉及深度学习技术领域，其中的方法包括：使用第一子模型并基于训练样本集中的训练样本获得第一特征信息；使用对应的第二子模型并基于比对样本集中的比对样本获得第二特征信息；根据第一特征信息与第二特征信息或图像信息的比对结果对第一子模型的参数进行调整，用以获得训练好的虚拟人物图像生成模型。本公开的方法、装置以及存储介质，使用已训练好的训练标注模型在模型训练过程中生成标注数据，可以有效地结合2D和3D信息进行模型训练，避免采集大量的训练数据，提高了模型训练以及使用的效率和准确性。

技术领域

本公开涉及深度学习技术领域，尤其涉及一种模型训练方法和装置、虚拟人物图像生成方法和装置以及存储介质。

背景技术

随着互联网技术的发展，出现很多视频平台和直播平台等，在平台上可以通过虚拟主持人等虚拟人物进行主播。对于虚拟人物主播功能，需要根据语音信号生成虚拟人物的面部表情以及对应的口型的视频，此视频用于在平台上进行播放。目前，在生成虚拟人物的技术方案中，通常基于深度学习技术建立虚拟人物图像生成模型，在训练虚拟人物图像生成模型时，需要预先采集大量视频文件作为样本，并对视频帧中的人脸关键点进行标注，利用人脸关键点使虚拟人物图像生成模型能够学习面部各器官的动作；但是，获取训练数据是十分昂贵且缓慢的，模型训练的效率低，并且，生成的虚拟人物图像与实际人物差别较大，视觉效果较差。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种模型训练方法和装置、虚拟人物图像生成方法和装置以及存储介质。

根据本公开的第一方面，提供一种模型训练方法，其中，虚拟人物图像生成模型包括至少一个待训练的第一子模型，训练标注模型包括至少一个训练好的第二子模型，所述方法包括：对视频样本进行分离处理，获取与所述视频样本相对应的音频信息和图像信息；根据所述音频信息、所述图像信息和与所述图像信息相对应的人物基准图像生成训练样本集合，并且，根据所述图像信息和所述人物基准图像生成比对样本集合；使用所述第一子模型并基于所述训练样本集中的训练样本获得第一特征信息；使用对应的第二子模型并基于所述比对样本集中的比对样本获得第二特征信息；根据所述第一特征信息与所述第二特征信息或所述图像信息的比对结果对所述第一子模型的参数进行调整，用以获得训练好的所述虚拟人物图像生成模型。

可选地，设置所述第一子模型与所述第二子模型的对应关系；基于所述对应关系在所述训练样本集中选取与所述第一子模型相对应的训练样本，并在所述比对样本集合中选取与所述第二子模型相对应的比对样本。

可选地，所述第一子模型包括：第一姿态估计模型，所述第二子模型包括：第二姿态估计模型；所述训练样本包括：音频样本，所述比对样本包括：与所述音频样本相对应的图像样本；所述使用所述第一子模型并基于所述训练样本集中的训练样本获得第一特征信息包括：使用所述第一姿态估计模型并基于所述音频样本获得第一人物姿态信息；所述使用对应的第二子模型并基于所述比对样本集中的比对样本获得第二特征信息包括：使用所述第二姿态估计模型并基于所述图像样本获得第二人物姿态信息；所述根据所述第一特征信息与所述第二特征信息或所述图像信息的比对结果对所述第一子模型的参数进行调整包括：根据所述第一人物姿态信息和所述第二人物姿态信息的比对结果计算第一估计损失；根据所述第一估计损失对所述第一姿态估计模型的参数进行调整。