[发明专利]视频生成方法、装置、介质及设备

说明书

本公开的实施方式公开了一种视频生成方法和装置、电子设备、计算机可读存储介质以及计算机程序，其中的视频生成方法包括：获取语义信息；根据所述语义信息，生成待生成视频的基础图像；获取所述基础图像的运动特征信息；根据所述运动特征信息和所述基础图像，生成所述待生成视频的多个视频帧帧。

技术领域

本公开涉及计算机视觉技术，尤其是涉及一种视频生成方法、视频生成装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

视频生成技术是一项利用机器来生成待生成视频的技术。视频生成技术可以适用于模拟机器人决策、辅助自动驾驶、预测场景未来运动以及生成游戏场景等多种应用中。视频生成技术不但要求机器能够理解真实世界的组成，还要求机器生成的待生成视频具有逼真的静态场景以及连贯的运动。

发明内容

本公开实施方式提供一种视频生成技术方案。

根据本公开实施方式其中一方面，提供一种视频生成方法，包括：获取语义信息；根据所述语义信息，生成待生成视频的基础图像；获取所述基础图像的运动特征信息；根据所述运动特征信息和所述基础图像，生成所述待生成视频的多个视频帧。

在本公开一实施方式中，所述根据所述语义信息，生成待生成视频的基础图像，包括：根据从语义信息中提取出的特征信息，生成待生成视频的基础图像。

在本公开又一实施方式中，所述语义信息包括：语义分割图；所述根据从语义信息中提取出的特征信息，生成待生成视频的基础图像，包括：对语义分割图进行特征编码处理，获得特征信息；对所述特征信息进行图像解码处理，并根据所述解码处理的结果，获得待生成视频的基础图像。

在本公开再一实施方式中，所述获取所述基础图像的运动特征信息，包括：获取所述基础图像的至少两种类型的运动特征信息。

在本公开再一实施方式中，所述获取所述基础图像的至少两种类型的运动特征信息，包括：获取所述基础图像的第一运动类型的第一运动特征信息和第二运动类型的第二运动特征信息，所述第一运动类型和所述第二运动类型不同。

在本公开再一实施方式中，所述获取所述基础图像的至少两种类型的运动特征信息，包括以下至少之一或组合：针对预先设置的运动分布信息，基于随机取样方式，获取所述基础图像的至少一种类型的运动特征信息；根据所述基础图像，获取所述基础图像的至少一种类型的运动特征信息；根据所述基础图像以及所述基础图像的语义分割图，获取所述基础图像的至少一种类型的运动特征信息；根据所述基础图像以及所述基础图像的语义分割图和深度图，获取所述基础图像的至少一种类型的运动特征信息。

在本公开再一实施方式中，所述根据所述基础图像以及所述基础图像的语义分割图，获取所述基础图像的至少一种类型的运动特征信息，包括：对所述基础图像和语义分割图进行运动特征编码处理；基于所述运动特征编码处理的结果，获得所述基础图像的至少一种类型的运动特征信息。

在本公开再一实施方式中，所述根据所述基础图像以及所述基础图像的语义分割图和深度图，获取所述基础图像的至少一种类型的运动特征信息，包括：对所述基础图像、语义分割图和深度图进行运动特征编码处理；基于所述运动特征编码处理的结果，获得所述基础图像的至少一种类型的运动特征信息。

在本公开再一实施方式中，所述根据所述运动特征信息和所述基础图像，生成所述待生成视频的多个视频帧，包括：根据至少两种类型的运动特征信息，确定所述待生成视频的光流信息和遮挡信息；根据所述光流信息、遮挡信息和基础图像，生成所述待生成视频的多个视频帧。

在本公开再一实施方式中，所述根据所述至少两种类型的运动特征信息，确定所述待生成视频的光流信息和遮挡信息，包括：根据所述至少两种类型的运动特征信息，确定所述待生成视频的后向光流信息和后向遮挡信息。