[发明专利]视频生成模型的训练方法、视频生成方法、装置、电子设备及可读存储介质

权利要求书

1.一种视频生成模型的训练方法，其特征在于，所述方法包括：

获取多个样本视频；

构建生成对抗网络，所述生成对抗网络包括生成模型和判别模型；

将所述样本视频输入至所述生成模型，得到预测视频帧；

将所述预测视频帧和所述样本视频输入至判别模型，得到判别结果；所述判别模型用于判别所述预测视频帧是否与所述样本视频匹配；

基于各个样本视频的所述判别结果训练所述生成对抗网络，直至满足训练停止条件，得到视频生成模型。

2.根据权利要求1所述的方法，所述生成模型包括：图像生成模型和光流网络模型；所述判别模型包括：图像判别模型和视频判别模型；所述样本视频包括第一视频帧，以及与所述第一视频帧相邻的多个第二视频帧；

所述将所述样本视频输入至所述生成模型，得到预测视频帧，包括：

将所述多个第二视频帧输入至所述生成模型，通过所述图像生成模型提取所述多个第二视频帧的前景训练特征；以及，通过所述光流网络模型提取所述多个第二视频帧的光流训练特征；

融合所述前景训练特征和所述光流训练特征，得到所述预测视频帧。

3.根据权利要求2所述的方法，所述将所述预测视频帧和所述样本视频输入至判别模型，得到判别结果，基于各个训练样本的所述判别结果训练所述生成对抗网络，直至满足训练停止条件，得到所述视频生成模型，包括：

将所述预测视频帧和所述第一视频帧，输入至所述图像鉴别模型，得到第一损失值；

将所述预测视频帧和所述第二视频帧，输入至所述视频鉴别模型，得到第二损失值；

根据所述第一损失值和所述第二损失值，训练所述生成对抗网络，直至满足训练停止条件，得到所述视频生成模型。

4.根据权利要求3所述的方法，在所述将所述预测视频帧和所述样本视频输入至判别模型，得到判别结果之前，所述方法还包括：

根据所述预测视频帧和所述第一视频帧，计算所述图像生成模型的第三损失值；

根据所述光流训练特征和光流真值，计算所述光流网络模型的第四损失值，所述光流真值为通过预设光流提取算法从所述样本视频中提取得到；

根据所述第三损失值和所述第四损失值，确定所述生成模型的损失值；

所述基于各个训练样本的所述判别结果训练所述生成对抗网络，直至满足训练停止条件，得到所述视频生成模型，包括：

根据所述第一损失值和所述第二损失值，确定所述判别模型的损失值；

根据所述生成模型的损失值和所述鉴别模型的损失值，对所述生成对抗网络进行反向传播训练，直至所述生成对抗网络满足预设收敛条件，得到训练好的所述视频生成模型。

5.根据权利要求3或4所述的方法，根据所述第一损失值和所述第二损失值，训练所述生成对抗网络，直至满足训练停止条件，得到所述视频生成模型，包括：

将所述预测视频帧和所述第一视频帧输入至特征提取网络，所述特征提取网络包括多个尺度层，每个所述尺度层分别输出所述预测视频帧和所述第一视频帧的子损失值；

根据多个所述子损失值，确定多尺度损失值；

根据所述多尺度损失值、所述第一损失值和所述第二损失值训练所生成对抗网络，直至满足训练停止条件，得到所述视频生成模型。

6.一种视频生成方法，其特征在于，所述方法包括：

获取视频帧序列，所述视频帧序列包括：源视频的视频帧和目标图像；

将所述视频帧序列输入至视频生成模型，所述视频生成模型包括：图像生成模型和光流网络模型；通过所述图像生成模型提取所述视频帧序列的前景特征，以及通过所述光流网络模型提取所述源视频的光流特征；

对所述前景特征和所述光流特征进行特征融合，生成目标视频帧；

基于所述目标视频帧，生成目标视频。