[发明专利]视频生成方法及装置、电子设备和存储介质

说明书

本公开涉及一种视频生成方法及装置、电子设备和存储介质，所述方法包括：将待处理图像输入编码模型进行处理，获得待处理图像的编码；对编码进行高斯分布采样，获得待处理图像的随机噪声；将随机噪声和编码输入光流生成模型，获得待处理图像的后向光流；根据后向光流和待处理图像，生成以待处理图像为首个视频帧的视频流。根据本公开的实施例的视频生成方法，通过对待处理图像的编码进行采样，并将采样获得的随机噪声以及待处理图像的编码进行处理，产生待处理图像的后向光流，可基于后向光流来获得待处理图像的后续视频帧。能够通过一帧待处理图像来生成动态图或短视频。

技术领域

本公开涉及计算机技术领域，尤其涉及一种视频生成方法及装置、电子设备和存储介质。

背景技术

在相关技术中，可根据多帧图像来预测图像中的目标的运动轨迹，进而生成这些图像的后续视频帧，使图像中展示的画面具有连续性。在一帧图像中，图像中的目标的运动轨迹通常具有较大的随机性，因此，目标的运动轨迹难以预测，仅通过一帧图像来生成多个连续的视频帧难以实现。

发明内容

针对上述问题，本公开提出了一种视频生成方法及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种视频生成方法，包括：

将待处理图像输入编码模型进行处理，获得所述待处理图像的编码；

对所述编码进行高斯分布采样，获得所述待处理图像的随机噪声；

将所述随机噪声和所述编码输入光流生成模型进行处理，获得所述待处理图像的后向光流；

根据所述后向光流和所述待处理图像，生成以待处理图像为首个视频帧的视频流，其中，所述视频流包括所述待处理图像与所述待处理图像的后续视频帧。

在一种可能的实现方式中，所述编码模型的训练过程包括：

将训练视频流的第一训练图像输入初始编码模型进行处理，获得所述第一训练图像的编码，其中，所述训练视频流由第一训练图像和第一训练图像的第一后续视频帧组成，所述第一训练图像为训练视频流的首个视频帧；

对所述第一训练图像的编码进行高斯分布采样，获得所述第一训练图像的随机噪声；

将所述第一训练图像的编码和所述第一训练图像的随机噪声输入初始光流生成模型，获得训练光流；

根据训练光流和训练视频流，确定所述初始编码模型和所述初始光流生成模型的综合模型损失；

根据所述综合模型损失调整所述初始编码模型，获得调整后的编码模型；

当满足训练条件时，将调整后的编码模型作为所述编码模型。

在一种可能的实现方式中，所述光流生成模型的训练过程包括：

将训练视频流的第一训练图像输入初始编码模型进行处理，获得所述第一训练图像的编码，其中，所述训练视频流由第一训练图像和第一训练图像的第一后续视频帧组成，所述第一训练图像为训练视频流的首个视频帧；

对所述第一训练图像的编码进行高斯分布采样，获得所述第一训练图像的随机噪声；

将所述第一训练图像的编码和所述第一训练图像的随机噪声输入初始光流生成模型，获得训练光流；

根据训练光流和训练视频流，确定所述初始编码模型和所述初始光流生成模型的综合模型损失；

根据所述综合模型损失调整所述初始光流生成模型，获得调整后的光流生成模型；

当满足训练条件时，将调整后的光流生成模型作为所述光流生成模型。