[发明专利]模型的训练方法、视频生成方法和装置、设备、介质

说明书

本实施例提供一种模型的训练方法、视频生成方法和装置、设备、介质，属于人工智能技术领域。包括：对真实人脸数据进行初步处理，得到初步人脸图像，通过第一神经网络模型对初步人脸图像进行特征提取处理，得到第一特征图像和第一特征数据，将第一特征数据与预设的虚拟人脸特征数据进行特征拼接处理，得到第二特征图像，能够训练出不同类型的虚拟人脸，满足用户的个性化需求，通过第二神经网络模型和联合特征数据，对第一特征图像进行解码处理，得到第二特征图像，根据第一特征图像和第二特征图像对第二神经网络模型进行训练处理，得到人脸图像生成模型，通过多次对图像的进行特征提取处理，能够提高虚拟人脸的渲染效果，提高虚拟人脸的真实度。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种模型的训练方法、视频生成方法和装置、设备、介质。

背景技术

随着互联网技术的发展，基于人脸驱动虚拟对象的方法在很多领域中被广泛应用。例如，在电影、动画以及视频制作中经常使用一些捕捉设备来跟踪真实人脸的变化，并且将其映射到一个虚拟形象上，进而使用虚拟形象在视频中与用户进行交互。目前，虚拟人脸生成主要是通过使用人脸对齐数据集来驱动RGB图像生成说话人的形象，但是当人脸对齐数据集与RGB图像差异较大时，例如某一人脸数据集的嘴巴部分处张开状态，且RGB图像的嘴巴部分处于闭合状态，会影响虚拟人脸的生成效果，导致生成的虚拟人脸真实度低。

发明内容

本公开实施例的主要目的在于提出一种模型的训练方法、视频生成方法和装置、设备、介质，能够方便地建立和使用人脸图像生成模型，提高虚拟人脸的真实度。

为实现上述目的，本公开实施例的第一方面提出了一种模型的训练方法，用于训练虚拟人脸的图像生成模型，包括：

获取真实人脸数据；

对所述真实人脸数据进行初步处理，得到初步人脸图像；

将所述初步人脸图像输入至预设的第一神经网络模型，通过所述第一神经网络模型对所述初步人脸图像进行特征提取处理，以得到第一特征图像和第一特征数据；

将所述第一特征数据与预设的虚拟人脸特征数据进行特征拼接处理，以得到联合特征数据；

通过第二神经网络模型和所述联合特征数据，对所述第一特征图像进行解码处理，以得到第二特征图像；

根据所述第一特征图像和所述第二特征图像对所述第二神经网络模型进行训练处理，以得到人脸图像生成模型；其中，所述人脸图像生成模型用于提高虚拟人脸的真实度。

在一些实施例，所述真实人脸数据包括真实人脸视频，对所述真实人脸数据进行初步处理，得到初步人脸图像，包括：

提取所述真实人脸视频中每一帧对应的初始帧图像；

对所述初始帧图像进行预处理，以得到多个重建帧图像；

将每一所述重建帧图像对应的下半脸区域贴到对应的初始帧图像中，得到所述初步人脸图像。

在一些实施例，所述对所述初始帧图像进行预处理，以得到多个重建帧图像，包括：

提取每一所述初始帧图像对应的人脸关键点；

对所述人脸关键点进行连接处理，以得到人脸检测区域；

对每一所述初始帧图像对应的所述人脸检测区域进行3DMM重建处理，以得到所述多个重建帧图像。

在一些实施例，所述根据所述第一特征图像和所述第二特征图像对所述第二神经网络模型进行训练处理，以得到人脸图像生成模型，包括：

通过所述第二神经网络模型对所述第二特征图像进行特征提取处理，以得到第三特征图像；