[发明专利]模型的训练方法、视频生成方法和装置、设备、介质

权利要求书

1.一种模型的训练方法，其特征在于，用于训练虚拟人脸的图像生成模型，包括：

获取真实人脸数据；

对所述真实人脸数据进行初步处理，得到初步人脸图像；

将所述初步人脸图像输入至预设的第一神经网络模型，通过所述第一神经网络模型对所述初步人脸图像进行特征提取处理，得到第一特征图像和第一特征数据；

将所述第一特征数据与预设的虚拟人脸特征数据进行特征拼接处理，得到联合特征数据；

通过第二神经网络模型和所述联合特征数据，对所述第一特征图像进行解码处理，以得到第二特征图像；

根据所述第一特征图像和所述第二特征图像对所述第二神经网络模型进行训练处理，以得到人脸图像生成模型；其中，所述人脸图像生成模型用于提高虚拟人脸的真实度。

2.根据权利要求1所述的方法，其特征在于，所述真实人脸数据包括真实人脸视频，所述对所述真实人脸数据进行初步处理，得到初步人脸图像，包括：

提取所述真实人脸视频中每一帧对应的初始帧图像；

检测每一所述初始帧对应的人脸检测区域；

对每一所述初始帧图像对应的所述人脸检测区域进行3DMM重建处理，得到多个重建帧图像；

将每一所述重建帧图像对应的下半脸区域贴到对应的初始帧图像中，得到所述初步人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征图像和所述第二特征图像对所述第二神经网络模型进行训练处理，以得到人脸图像生成模型，包括：

通过所述第二神经网络模型对所述第二特征图像进行特征提取处理，以得到第三特征图像；

根据所述第一特征图像和所述第三特征图像计算第一损失值，根据所述第二特征图像和所述初始帧图像计算第二损失值，根据所述第二特征图像计算第三损失值；

模型训练步骤：根据所述第一损失值、所述第二损失值和所述第三损失值对所述第二神经网络模型进行训练处理，以得到所述人脸图像生成模型。

4.根据权利要求3所述的方法，其特征在于，在所述模型训练步骤之后，所述根据所述第一特征图像和所述第二特征图像对所述第二神经网络模型进行训练处理，以得到人脸图像生成模型，还包括：

对所述初步人脸图像和对应的所述初始帧图像进行图像拼接处理，以得到第一拼接图像；

对所述初步人脸图像和对应的所述第二特征图像进行图像拼接处理，以得到第二拼接图像；

根据所述第一拼接图像和所述第二拼接图像计算所述第二特征图像的图像真实值；

根据所述图像真实值对所述人脸图像生成模型进行训练处理，以更新所述人脸图像生成模型。

5.一种视频生成方法，其特征在于，用于生成虚拟人脸视频，包括：

获取文本数据和目标虚拟人脸的虚拟人脸特征数据；

将所述文本数据和所述虚拟人脸特征数据输入至人脸图像生成模型进行图像生成处理，得到多个连续帧说话图像；其中，所述人脸图像生成模型根据如权利要求1至4任一项所述的方法训练得到；

对所述多个连续帧说话图像进行图像拼接处理，以得到初始视频；

根据所述文本数据对所述初始视频进行处理，以得到目标视频。

6.根据权利要求5所述的方法，其特征在于，所述根据所述文本数据对所述初始视频进行处理，以得到目标视频，包括：

对所述文本数据进行语音转换处理，以得到目标语音；

根据所述目标语音对所述初始视频进行语音合成处理，以得到所述目标视频。