[发明专利]基于图像生成视频、模型的训练方法、装置及电子设备

权利要求书

1.一种基于图像生成视频的方法，包括：

对待处理图像进行特征提取，得到目标图像特征向量，其中，所述待处理图像的分辨率为第一分辨率；

根据随机生成的噪声向量和所述目标图像特征向量，得到目标去噪特征向量，其中，所述噪声向量中包括加噪视频长度特征、加噪视频帧高度特征、加噪视频帧宽度特征和加噪视频帧通道特征，所述目标图像特征向量包括待处理图像高度特征、待处理图像宽度特征和待处理图像通道特征，所述根据随机生成的噪声向量和所述目标图像特征向量，得到目标去噪特征向量包括：

根据所述加噪视频长度特征、所述加噪视频帧高度特征、所述加噪视频帧宽度特征、所述加噪视频帧通道特征、所述待处理图像高度特征、所述待处理图像宽度特征和所述待处理图像通道特征，得到目标视频长度特征、初始视频帧高度特征、初始视频帧宽度特征和初始视频帧通道特征；以及

根据所述目标视频长度特征、所述初始视频帧高度特征、所述初始视频帧宽度特征和所述初始视频帧通道特征，得到所述目标去噪特征向量；以及

根据所述目标去噪特征向量，得到目标视频，其中，所述目标视频的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率。

2. 根据权利要求1所述的方法，其中，所述根据所述目标去噪特征向量，得到目标视频包括：

对所述目标去噪特征向量进行解码，得到解码特征向量；以及

对所述解码特征向量进行超分处理，得到所述目标视频。

3.根据权利要求2所述的方法，其中，所述解码特征向量中包括目标视频长度特征、初始视频帧高度特征、初始视频帧宽度特征和初始视频帧通道特征；所述对所述解码特征向量进行超分处理，得到所述目标视频包括：

确定超分系数；

根据所述超分系数和所述初始视频帧高度特征，得到目标视频帧高度特征；

根据所述超分系数和所述初始视频帧宽度特征，得到目标视频帧宽度特征；

根据所述目标视频帧高度特征、所述目标视频帧宽度特征和所述初始视频帧通道特征，得到目标视频帧通道特征；以及

根据所述目标视频长度特征、所述目标视频帧高度特征、所述目标视频帧宽度特征和所述目标视频帧通道特征，得到所述目标视频。

4.根据权利要求1所述的方法，其中，所述目标图像特征向量的几何维度小于所述待处理图像的几何维度。

5.根据权利要求1所述的方法，其中，所述噪声向量的几何维度和所述目标去噪特征向量的几何维度均小于所述目标视频的几何维度。

6.一种深度学习模型的训练方法，所述深度学习模型包括第一神经网络和第二神经网络，所述方法包括：

将输入视频序列的加噪特征向量以及所述输入视频序列中第一帧静态图像的样本图像特征向量输入第一神经网络，得到样本去噪特征向量，其中，所述输入视频序列的分辨率为第三分辨率；

将所述样本去噪特征向量输入第二神经网络，得到第一输出视频序列，其中，所述第一输出视频序列的分辨率为第四分辨率，所述第四分辨率大于所述第三分辨率；以及

根据样本视频序列、所述第一输出视频序列、所述样本去噪特征向量和所述输入视频序列的第一视频特征向量，对所述第一神经网络和所述第二神经网络进行训练，得到经训练的深度学习模型，其中，所述样本视频序列与所述输入视频序列相对应，所述经训练的深度学习模型用于实现如权利要求1-5中任一项所述的基于图像生成视频的方法。

7. 根据权利要求6所述的方法，其中，所述将所述样本去噪特征向量输入第二神经网络，得到第一输出视频序列包括：

对所述样本去噪特征向量进行解码，得到初始特征向量；以及

对所述初始特征向量进行超分处理，得到所述第一输出视频序列。

8. 根据权利要求6所述的方法，还包括：

获取所述样本视频序列，其中，所述样本视频序列的分辨率大于所述第三分辨率；以及

对所述样本视频序列进行下采样处理，得到所述输入视频序列。