[发明专利]视频生成方法及设备

权利要求书

1.一种视频生成方法，包括：

在第一图像中，提取第一图像特征；

根据所述第一图像特征和第二图像特征，通过非线性插值得到多个中间图像特征，所述第二图像特征为第二图像的图像特征；

基于所述第一图像特征、所述第二图像特征和所述多个中间图像特征，通过图像生成模型进行图像重建，生成目标视频，其中，所述目标视频用于展现从所述第一图像渐变至所述第二图像的过程。

2.根据权利要求1所述的视频生成方法，所述根据所述第一图像特征和第二图像特征，通过非线性插值，得到多个中间图像特征，包括：

根据所述第一图像特征和所述第二图像特征，生成第三图像特征；

依次基于所述图像生成模型的特征空间和神经网络，调整所述第三图像特征，所述神经网络用于学习基于所述特征空间进行图像特征调整的偏差；

根据所述第一图像特征、所述第二图像特征和调整后的第三图像特征，进行非线性插值，得到所述多个中间图像特征。

3.根据权利要求2所述的视频生成方法，所述依次基于所述图像生成模型的特征空间和神经网络，调整所述第三图像特征，所述神经网络用于学习基于所述特征空间进行图像特征调整的偏差，包括：

获取所述特征空间中的平均图像特征；

根据所述平均图像特征，对所述第三图像特征进行初步调整；

将所述第一图像特征和所述第二图像特征，输入所述神经网络，得到所述神经网络的输出数据，所述输出数据反映所述初步调整的偏差；

根据所述输出数据，对初步调整后的第三图像特征进行再次调整。

4.根据权利要求3所述的视频生成方法，所述根据所述平均图像特征，对所述第三图像特征进行初步调整，包括：

确定所述第三图像特征与所述平均图像特征的均值；

确定所述初步调整后的第三图像特征为所述均值。

5.根据权利要求2至4任一项所述的视频生成方法，所述神经网络基于正则约束和相似度约束训练得到，所述正则约束用于最小化基于所述神经网络调整后的图像特征与基于所述特征空间调整后的图像特征之间的差异，所述相似度约束用于最小化基于所述神经网络调整后的图像特征与第一训练图像的图像特征、第二训练图像的图像特征之间的差异。

6.根据权利要求2至4任一项所述的视频生成方法，所述基于所述第一图像特征、所述第二图像特征和所述第三图像特征，进行非线性插值，得到所述多个中间图像特征，包括：

根据所述第一图像特征、所述第二图像特征和所述第三图像特征，通过三次样条插值得到插值曲线；

在所述插值曲线上进行采样，得到所述多个中间图像特征。

7.根据权利要求2至4任一项所述的视频生成方法，所述图像生成模型为StyleGAN模型或者StyleGAN2模型。

8.一种模型确定方法，包括：

根据多个训练图像和图像生成模型，训练神经网络，所述神经网络用于学习基于所述图像生成模型的特征空间进行图像特征调整的偏差；

其中，所述神经网络的一次训练过程包括：

根据第一训练图像的图像特征和第二训练图像的图像特征，生成目标图像特征；

基于所述特征空间，对所述目标图像特征进行初步调整；

通过所述神经网络学习所述初步调整对应的目标偏差，并根据所述目标偏差，对初步调整后的目标图像特征进行再次调整；

根据所述目标偏差、再次调整后的目标图像特征、所述第一训练图像和所述第二训练图像，调整所述神经网络的模型参数。