[发明专利]视频生成模型的构建和视频生成方法、装置、设备及介质

说明书

本申请公开了一种视频生成模型的构建和视频生成方法、装置、设备及介质，涉及计算机技术领域，尤其涉及深度学习、计算机视觉和语音技术等人工智能技术领域。具体实现方案为：将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将图像特征和语音动作关联特征输入初始模型的解码器网络，预测样本语音片段驱动样本人物图像的人物图像序列，并将语音动作关联特征输入初始模型的音素预测网络，预测样本语音片段的音素信息；根据样本语音片段的音素标签、样本语音片段关联的样本视频帧序列、音素信息和人物图像序列，对初始模型进行训练，得到视频生成模型。为图像驱动技术的发展提供了一种新思路。

技术领域

本申请涉及计算机技术领域，尤其涉及深度学习、计算机视觉和语音技术等人工智能技术领域。

背景技术

随着人工智能技术和视频技术的发展，将静态图像驱动成动态视频的图像驱动技术逐渐兴起，具体过程为通过一段人物视频，去驱动一张静态的目标人物图像，从而得到该目标人物图像关联的人物视频，但是，现有的图像驱动技术无法满足跨模态驱动图像的需求，例如，通过一段语音将一张静态的人物图像驱动成一段表达该段语音的动态人物视频，亟需改进。

发明内容

本申请提供了一种视频生成模型的构建和视频生成方法、装置、设备及介质。

根据本申请的第一方面，提供了一种视频生成模型的构建方法，包括：

将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将所述图像特征和所述语音动作关联特征输入所述初始模型的解码器网络，预测所述样本语音片段驱动所述样本人物图像的人物图像序列，并将所述语音动作关联特征输入所述初始模型的音素预测网络，预测所述样本语音片段的音素信息；

根据所述样本语音片段的音素标签、所述样本语音片段关联的样本视频帧序列、所述音素信息和所述人物图像序列，对所述初始模型进行训练，得到视频生成模型。

根据本申请的第二方面，提供了一种视频生成方法，该方法使用本申请任一实施例所述的方法构建的视频生成模型实现，该方法包括：

将目标人物图像和目标语音片段输入所述视频生成模型中，得到所述目标语音片段驱动所述目标人物图像的人物图像序列；

根据所述人物图像序列，生成目标人物视频。

根据本申请的第三方面，提供了一种视频生成模型的构建装置，包括：

数据输入模块，用于将样本人物图像和样本语音片段输入初始模型的编码器网络，得到图像特征和语音动作关联特征，将所述图像特征和所述语音动作关联特征输入所述初始模型的解码器网络，预测所述样本语音片段驱动所述样本人物图像的人物图像序列，并将所述语音动作关联特征输入所述初始模型的音素预测网络，预测所述样本语音片段的音素信息；

模型训练模块，用于根据所述样本语音片段的音素标签、所述样本语音片段关联的样本视频帧序列、所述音素信息和所述人物图像序列，对所述初始模型进行训练，得到视频生成模型。

根据本申请的第四方面，提供了一种视频生成装置，该装置使用本申请任一实施例所述的方法构建的视频生成模型实现，该装置包括：

图像序列生成模块，用于将目标人物图像和目标语音片段输入所述视频生成模型中，得到所述目标语音片段驱动所述目标人物图像的人物图像序列；

视频生成模块，用于根据所述人物图像序列，生成目标人物视频。

根据本申请的第五方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，