[发明专利]一种视频生成方法、装置、电子设备及存储介质

权利要求书

1.一种视频生成方法，其特征在于，包括：

获取原始视频，从所述原始视频中提取第一对象的姿态信息和外观信息；

确定所述第一对象的姿态信息和预先获取的第二对象的姿态信息之间的姿态差异信息，并基于所述外观信息确定用于表征所述第一对象外观特征的特征信息；

基于所述特征信息，生成多帧具有第一对象外观特征和第一对象姿态特征的初始图像，基于所述姿态差异信息，将所述第二对象的姿态迁移到每帧所述初始图像中，生成多帧具有第一对象外观特征和第二对象姿态特征的目标图像；

基于所迁移的所述第二对象的姿态变化顺序形成预设时序，以所述预设时序连接多帧所述目标图像，生成目标视频；

根据所述目标视频中当前帧之前预设数量帧图像与当前帧图像之间的光流信息，对当前帧图像的姿态进行优化，所述当前帧是所述目标视频中除第一帧之外的任一帧图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述特征信息，生成多帧具有第一对象外观特征和第一对象姿态特征的初始图像，包括：

针对每一帧待生成的目标图像，基于所述特征信息，生成多张不同分辨率的具有第一对象外观特征和第一对象姿态特征的初始图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述姿态差异信息，将所述第二对象的姿态迁移到每帧所述初始图像中，生成多帧具有第一对象外观特征和第二对象姿态特征的目标图像，包括：

针对所述多张不同分辨率的具有第一对象外观特征和第一对象姿态特征的初始图像，基于所述姿态差异信息，将第二对象的姿态特征迁移到每张所述初始图像中，得到多张不同分辨率的具有第一对象外观特征和第二对象姿态特征的中间图像；

利用预先配置的卷积神经网络提取所述中间图像的图像特征，将多张不同分辨率中间图像的图像特征进行融合，生成一帧具有第一对象外观特征和第二对象姿态特征的目标图像。

4.根据权利要求3所述的方法，其特征在于，所述利用预先配置的卷积神经网络提取所述中间图像的图像特征，将多张不同分辨率中间图像的图像特征进行融合，生成一帧具有第一对象外观特征和第二对象姿态特征的目标图像，包括：

将多张分辨率大于预设分辨率阈值的中间图像输入至所述卷积神经网络，得到多张第一特征图像；

将多张分辨率不大于预设分辨率阈值的中间图像输入至所述卷积神经网络，得到多张第二特征图像；

将所述多张第一特征图像与所述多张第二特征图像以逐像素相加的形式进行图像特征融合，生成一帧具有第一对象外观特征和第二对象姿态特征的目标图像。

5.根据权利要求1所述的方法，其特征在于，所述基于所述姿态差异信息，将所述第二对象的姿态迁移到每帧所述初始图像中，生成多帧具有第一对象外观特征和第二对象姿态特征的目标图像，还包括：

利用预先配置的判别器将所述目标图像划分为多个图像块，基于每个图像块内的像素相关性，得到用于判别该图像块的图像真实性的判别值，在确定所述判别值满足预设标准时，将所述目标图像作为当前帧图像。

6.根据权利要求1所述的方法，其特征在于，所述基于所述姿态差异信息，将第二对象的姿态迁移到每帧所述初始图像中，生成多帧具有第一对象外观特征和第二对象姿态特征的目标图像，还包括：

利用预先训练的姿态迁移模型的解码器网络，确定所述姿态差异信息对应的姿态差异区域；

基于所述姿态差异区域，将第二对象的姿态迁移到每帧所述初始图像中，生成多帧具有第一对象外观特征和第二对象姿态特征的目标图像。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

提取所述目标视频中每一帧图像的外观信息和姿态信息；

针对所述目标视频中除第一帧之外的任一帧图像，基于当前帧之前预设数量帧图像的外观信息和姿态信息、以及当前帧图像的姿态信息，确定当前帧之前预设数量帧图像与当前帧图像之间的光流信息；

基于当前帧之前预设数量帧图像和所述光流信息，预测当前帧图像的姿态，得到当前帧的预测姿态信息；

利用所述预测姿态信息对当前帧图像的姿态进行优化，将优化后的姿态作为当前帧图像的姿态。