[发明专利]视频生成方法、装置、电子设备及存储介质

权利要求书

1.一种视频生成方法，其特征在于，包括：

根据预先训练的视频生成模型对应的视频帧率提取目标音频数据每帧的音频特征；

获取与所述目标音频数据同步的目标视频数据中人物的人体姿态向量；

将所述音频特征和所述音频特征对应的人体姿态向量通过预先训练的视频生成模型，获取与所述目标音频数据同步的人像视频，其中，所述人像视频包括多帧人物图像，所述多帧人物图像中包含所述音频特征和所述人体姿态向量之间的映射关系；

所述获取与所述目标音频数据同步的目标视频数据中人物的人体姿态向量，包括：

从所述目标视频数据中提取每帧的人物图像，所述人物图像包括：人头图像和身体图像；

分别从所述人头图像和所述身体图像中提取人头姿态向量和身体姿态向量，组成所述人物的人体姿态向量；

其中，所述人体姿态向量为(x，y，z)为视频拍摄设备拍摄时人物在场景的三维空间坐标，为所述视频拍摄设备拍摄的视角方向。

2.根据权利要求1所述的视频生成方法，其特征在于，所述根据预先训练的视频生成模型对应的视频帧率提取目标音频数据每帧的音频特征之前，还包括：

获取待训练音频数据的音频特征和与所述待训练音频数据同步的待训练视频数据中人物的人体姿态向量，其中，所述人体姿态向量包括人头姿态向量和身体姿态向量；

将所述待训练音频数据对应的音频特征和所述待训练视频数据对应的人头姿态向量通过无卷积的深度全连接神经网络进行训练，获取第一视频生成模型；

将所述待训练音频数据对应的音频特征和所述待训练视频数据对应的身体姿态向量通过所述第一视频生成模型进行训练，获取视频生成模型。

3.根据权利要求1或2所述的视频生成方法，其特征在于，所述根据预先训练的视频生成模型对应的视频帧率提取目标音频数据每帧的音频特征，包括：

根据所述预先训练的视频生成模型对应的视频帧率提取所述目标音频数据中每帧的第一音频特征，其中，所述音频数据包含N个音频帧，N为大于0的整数；

对于第i帧音频帧，根据第i帧相邻的前m帧的第一音频特征和第i帧相邻的后m帧的第一音频特征，获取所述目标音频数据第i帧的音频特征，其中，0i≤N，0mN。

4.根据权利要求1或2所述的视频生成方法，其特征在于，所述将所述音频特征和所述音频特征对应的人体姿态向量通过预先训练的视频生成模型，获取与所述目标音频数据同步的人像视频，包括：

将所述每帧的音频特征和所述每帧的音频特征对应的人体姿态向量输入到预先训练的视频生成模型中，获取多帧人物图像；

将多帧人物图像合成，获取与所述目标音频数据同步的人像视频。

5.根据权利要求4所述的视频生成方法，其特征在于，所述将多帧人物图像合成，获取与所述目标音频数据同步的人像视频，包括：

将多帧人物图像合成，获取与所述目标音频数据同步的第一人像视频；

从所述目标视频数据中提取与每帧的人物图像对应的背景图像；

将所述第一人像视频和所述背景图像融合，生成与所述目标音频数据同步的人像视频。

6.根据权利要求1或5所述的视频生成方法，其特征在于，所述获取与所述目标音频数据同步的人像视频之后，还包括：

获取所述人像视频中每一帧图像对应的峰值信噪比作为评价指数；

根据所述评价指数确定所述人像视频的生成质量。