[发明专利]一种视频生成方法、装置、电子设备及存储介质

说明书

本公开实施例提供一种视频生成方法、装置、电子设备及存储介质，用以提高视频中图像的分辨率，有效保留视频的特征细节。所述方法包括：获取原始视频，从原始视频中提取第一对象的姿态信息和外观信息；确定第一对象的姿态信息和预先获取的第二对象的姿态信息之间的姿态差异信息，并基于外观信息确定用于表征第一对象外观特征的特征信息；基于特征信息，生成多帧具有第一对象外观特征和第一对象姿态特征的初始图像，基于姿态差异信息，将第二对象的姿态迁移到每帧初始图像中，生成多帧具有第一对象外观特征和第二对象姿态特征的目标图像；基于所迁移的第二对象的姿态变化顺序形成预设时序，以预设时序连接多帧目标图像，生成目标视频。

技术领域

本公开涉及视频处理领域，尤其涉及一种视频生成方法、装置、电子设备及存储介质。

背景技术

视频内容智能生成用于模拟和再现动态视觉世界，在计算机视觉、机器人学和计算机图形学领域都有广泛的应用。使用学习的视频内容智能生成模型，用户可以生成逼真的视频内容，并且可以通过条件约束的方式对视频生成内容进行高级控制和修改。

现有技术中视频生成的方案主要包括无条件视频内容智能生成和条件视频内容智能生成，其中，无条件视频内容智能生成无法对生成视频的内容进行控制和修改，而且往往难以得到较高分辨率并且内容逼真的视频。而条件视频生成方法，通常将姿态提取、语义分割结果等作为条件信息，约束视频生成，目标是学习条件信息到生成内容的映射函数，生成的视频可以精确地描绘条件信息的内容。当条件信息为源域人物视频和目标域姿态时，可以得到具有源域人物外观和目标域姿态的视频内容。然而，相关技术在根据姿态信息生成人像时容易丢失源域人物的特征细节，而且生成的视频难以保证较长时序的一致性。

综上所述，现有技术中的视频生成方案中存在分辨率不够高、容易丢失人物特征细节等问题。

发明内容

本公开实施例提供一种视频生成方法、装置、电子设备及存储介质，用以提高视频中图像的分辨率，有效保留视频的特征细节。

第一方面，本公开实施例提供一种视频生成方法，包括：

获取原始视频，从原始视频中提取第一对象的姿态信息和外观信息；

确定第一对象的姿态信息和预先获取的第二对象的姿态信息之间的姿态差异信息，并基于外观信息确定用于表征第一对象外观特征的特征信息；

基于特征信息，生成多帧具有第一对象外观特征和第一对象姿态特征的初始图像，基于姿态差异信息，将第二对象的姿态迁移到每帧初始图像中，生成多帧具有第一对象外观特征和第二对象姿态特征的目标图像；

基于所迁移的第二对象的姿态变化顺序形成预设时序，以预设时序连接多帧目标图像，生成目标视频。

本公开实施例提供的视频生成方法，首先获取原始视频，并从原始视频中提取第一对象的姿态信息和外观信息，然后确定第一对象的姿态信息和预先获取的第二对象的姿态信息之间的姿态差异信息，并基于外观信息确定用于表征第一对象外观特征的特征信息，基于特征信息，生成多帧具有第一对象外观特征和第一对象姿态特征的初始图像，基于姿态差异信息，将第二对象的姿态迁移到每帧初始图像中，生成多帧具有第一对象外观特征和第二对象姿态特征的目标图像，最后基于所迁移的第二对象的姿态变化顺序形成预设时序，以预设时序连接多帧目标图像，生成目标视频。与现有技术相比，基于第一对象和第二对象之间的姿态差异信息，将第二对象的姿态迁移到初始图像中，能够提高视频中图像的分辨率，有效保留视频的特征细节。

在一种可能的实施方式中，基于特征信息，生成多帧具有第一对象外观特征和第一对象姿态特征的初始图像，包括：

针对每一帧待生成的目标图像，基于特征信息，生成多张不同分辨率的具有第一对象外观特征和第一对象姿态特征的初始图像。