[发明专利]视频生成方法、装置、介质及设备

权利要求书

1.一种视频生成方法，其特征在于，包括：

获取语义信息；

根据所述语义信息，生成待生成视频的基础图像；

获取所述基础图像的运动特征信息；

根据所述运动特征信息和所述基础图像，生成所述待生成视频的多个视频帧，

其中，所述根据所述运动特征信息和所述基础图像，生成所述待生成视频的多个视频帧，包括：

根据至少两种类型的运动特征信息，确定所述待生成视频的光流信息和遮挡信息；

根据所述光流信息、遮挡信息和基础图像，生成所述待生成视频的多个视频帧。

2.根据权利要求1所述的方法，其特征在于，所述根据所述语义信息，生成待生成视频的基础图像，包括：

根据从语义信息中提取出的特征信息，生成待生成视频的基础图像。

3.根据权利要求2所述的方法，其特征在于，所述语义信息包括：语义分割图；

所述根据从语义信息中提取出的特征信息，生成待生成视频的基础图像，包括：

对语义分割图进行特征编码处理，获得特征信息；

对所述特征信息进行图像解码处理，并根据所述解码处理的结果，获得待生成视频的基础图像。

4.根据权利要求1所述的方法，其特征在于，所述获取所述基础图像的运动特征信息，包括：

获取所述基础图像的至少两种类型的运动特征信息。

5.根据权利要求4所述的方法，其特征在于，所述获取所述基础图像的至少两种类型的运动特征信息，包括：

获取所述基础图像的第一运动类型的第一运动特征信息和第二运动类型的第二运动特征信息，所述第一运动类型和所述第二运动类型不同。

6.根据权利要求4所述的方法，其特征在于，所述获取所述基础图像的至少两种类型的运动特征信息，包括以下至少之一或组合：

针对预先设置的运动分布信息，基于随机取样方式，获取所述基础图像的至少一种类型的运动特征信息；

根据所述基础图像，获取所述基础图像的至少一种类型的运动特征信息；

根据所述基础图像以及所述基础图像的语义分割图，获取所述基础图像的至少一种类型的运动特征信息；

根据所述基础图像以及所述基础图像的语义分割图和深度图，获取所述基础图像的至少一种类型的运动特征信息。

7.根据权利要求6所述的方法，其特征在于，

所述根据所述基础图像以及所述基础图像的语义分割图，获取所述基础图像的至少一种类型的运动特征信息，包括：

对所述基础图像和语义分割图进行运动特征编码处理；

基于所述运动特征编码处理的结果，获得所述基础图像的至少一种类型的运动特征信息。

8.根据权利要求6所述的方法，其特征在于，

所述根据所述基础图像以及所述基础图像的语义分割图和深度图，获取所述基础图像的至少一种类型的运动特征信息，包括：

对所述基础图像、语义分割图和深度图进行运动特征编码处理；

基于所述运动特征编码处理的结果，获得所述基础图像的至少一种类型的运动特征信息。

9.根据权利要求1所述的方法，其特征在于，所述根据所述至少两种类型的运动特征信息，确定所述待生成视频的光流信息和遮挡信息，包括：

根据所述至少两种类型的运动特征信息，确定所述待生成视频的后向光流信息和后向遮挡信息。

10.根据权利要求9所述的方法，其特征在于，所述根据所述至少两种类型的运动特征信息，确定所述待生成视频的后向光流信息和后向遮挡信息，包括：

根据所述至少两种类型的运动特征信息，获得所述待生成视频的双向光流信息和双向遮挡信息；

从所述双向光流信息和双向遮挡信息中，获取所述待生成视频的后向光流信息和后向遮挡信息。