[发明专利]视频生成模型的训练方法、视频生成方法、装置、电子设备及可读存储介质

说明书

本发明实施例提供了一种视频生成模型的训练方法、视频生成方法、装置、电子设备及可读存储介质，该方法包括：获取多个样本视频；构建生成对抗网络，生成对抗网络包括生成模型和判别模型；将样本视频输入至生成模型，得到预测视频帧；将预测视频帧和样本视频输入至判别模型，得到判别结果；判别模型用于判别预测视频帧是否与样本视频匹配；基于各个样本视频的判别结果训练生成对抗网络，直至满足训练停止条件，得到视频生成模型。根据本发明的实施例，能够提升训练得到的视频生成模型的准确性。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种视频生成模型的训练方法、视频生成方法、装置、电子设备及可读存储介质。

背景技术

目前，动作迁移技术，是将源视频中的动作迁移到目标图像上以生成目标视频，其效果是使目标图像中的对象表现出源视频中的动作。其可以应用到社交娱乐和特效合成等多种场景中。

由于源视频和目标图像中对象的姿态可能相差较大，所以采用目前的动作迁移技术生成的目标视频中可能会出现单个视频帧不真实、画面模糊、以及视频帧间不流畅的问题，即目标视频生成的效果不佳。

发明内容

本发明实施例的目的在于提供一种视频生成模型的训练方法、视频生成方法、装置、电子设备及可读存储介质，通过训练得到的视频生成模型，能够提升目标视频生成的效果。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种视频生成模型的训练方法，包括：

获取多个样本视频；

构建生成对抗网络，生成对抗网络包括生成模型和判别模型；

将样本视频输入至生成模型，得到预测视频帧；

将预测视频帧和样本视频输入至判别模型，得到判别结果；判别模型用于判别预测视频帧是否与样本视频匹配；

基于各个样本视频的判别结果训练生成对抗网络，直至满足训练停止条件，得到视频生成模型。

在本发明实施的第二方面，首先提供了一种视频生成方法，包括：

获取视频帧序列，视频帧序列包括：源视频的视频帧和目标图像；

将视频帧序列输入至视频生成模型，视频生成模型包括：图像生成模型和光流网络模型；通过图像生成模型提取视频帧序列的前景特征，以及通过光流网络模型提取源视频的光流特征；

对前景特征和光流特征进行特征融合，生成目标视频帧；

基于目标视频帧，生成目标视频。

在本发明实施的第三方面，还提供了一种视频生成模型的训练装置，包括：

第一获取模块，用于获取多个样本视频；

构建模块，用于构建生成对抗网络，生成对抗网络包括生成模型和判别模型；

第一输入模块，用于将样本视频输入至生成模型，得到预测视频帧；

第一输入模块，还用于将预测视频帧和样本视频输入至判别模型，得到判别结果；判别模型用于判别预测视频帧是否与样本视频匹配；

训练模块，用于基于各个样本视频的判别结果训练生成对抗网络，直至满足训练停止条件，得到视频生成模型。

在本发明实施的第四方面，还提供了一种视频生成装置，包括：

第二获取模块，用于获取视频帧序列，视频帧序列包括：源视频的视频帧和目标图像；

第二输入模块，用于将视频帧序列输入至视频生成模型，视频生成模型包括：图像生成模型和光流网络模型；通过图像生成模型提取视频帧序列的前景特征，以及通过光流网络模型提取源视频的光流特征；