[发明专利]基于图像生成视频、模型的训练方法、装置及电子设备

说明书

本发明提供了基于图像生成视频的方法、模型的训练方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、深度学习等技术领域，可应用于元宇宙、AIGC等场景。具体实现方案为：对待处理图像进行特征提取，得到目标图像特征向量，其中，待处理图像的分辨率为第一分辨率；根据随机生成的噪声向量和目标图像特征向量，得到目标去噪特征向量；以及根据目标去噪特征向量，得到目标视频，其中，目标视频的分辨率为第二分辨率，第二分辨率大于第一分辨率。

技术领域

本发明涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、深度学习等技术领域，可应用于元宇宙、AIGC（AI-Generated Content，人工智能创作内容）等场景，具体地，涉及一种基于图像生成视频的方法、模型的训练方法、装置、电子设备及存储介质。

背景技术

AIGC 是继 UGC（用户生产内容）、PGC（专业生产内容）之后的新型利用 AI 技术自动生成内容的生产方式。主要用在文字、图像、视频、音频、游戏以及虚拟人上等。例如，可以用于text2img（文本到图像），img2img（图像到图像），img2video（图像到视频），text2video（文本到视频）等场景。

发明内容

本发明提供了一种基于图像生成视频的方法、模型的训练方法、装置、电子设备及存储介质。

根据本发明的一方面，提供了一种基于图像生成视频的方法，包括：对待处理图像进行特征提取，得到目标图像特征向量，其中，所述待处理图像的分辨率为第一分辨率；根据随机生成的噪声向量和所述目标图像特征向量，得到目标去噪特征向量；以及根据所述目标去噪特征向量，得到目标视频，其中，所述目标视频的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率。

根据本发明的另一方面，提供了一种深度学习模型的训练方法，所述深度学习模型包括第一神经网络和第二神经网络，所述方法包括：将输入视频序列的加噪特征向量以及所述输入视频序列中第一帧静态图像的样本图像特征向量输入第一神经网络，得到样本去噪特征向量，其中，所述输入视频序列的分辨率为第三分辨率；将所述样本去噪特征向量输入第二神经网络，得到第一输出视频序列，其中，所述第一输出视频序列的分辨率为第四分辨率，所述第四分辨率大于所述第三分辨率；以及根据样本视频序列、所述第一输出视频序列、所述样本去噪特征向量和所述输入视频序列的第一视频特征向量，对所述第一神经网络和所述第二神经网络进行训练，得到经训练的深度学习模型，其中，所述样本视频序列与所述输入视频序列相对应。

根据本发明的另一方面，提供了一种基于图像生成视频的装置，包括：第一获得模块，用于对待处理图像进行特征提取，得到目标图像特征向量，其中，所述待处理图像的分辨率为第一分辨率；第二获得模块，用于根据随机生成的噪声向量和所述目标图像特征向量，得到目标去噪特征向量；以及第三获得模块，用于根据所述目标去噪特征向量，得到目标视频，其中，所述目标视频的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率。

根据本发明的另一方面，提供了一种深度学习模型的训练装置，所述深度学习模型包括第一神经网络和第二神经网络，所述装置包括：第四获得模块，用于将输入视频序列的加噪特征向量以及所述输入视频序列中第一帧静态图像的样本图像特征向量输入第一神经网络，得到样本去噪特征向量，其中，所述输入视频序列的分辨率为第三分辨率；第五获得模块，用于将所述样本去噪特征向量输入第二神经网络，得到第一输出视频序列，其中，所述第一输出视频序列的分辨率为第四分辨率，所述第四分辨率大于所述第三分辨率；以及训练模块，用于根据样本视频序列、所述第一输出视频序列、所述样本去噪特征向量和所述输入视频序列的第一视频特征向量，对所述第一神经网络和所述第二神经网络进行训练，得到经训练的深度学习模型，其中，所述样本视频序列与所述输入视频序列相对应。