[发明专利]用于生成视频的方法、装置、设备和介质

权利要求书

1.一种用于生成视频的方法，包括：

获取从音频提取的声学特征；

利用预先训练的、目标人对应的特征确定模型根据所述从音频提取的声学特征，确定所述目标人的特征，其中，所述目标人的特征包括所述目标人针对所述音频的声学特征和人脸关键点，所述人脸关键点基于所述目标人针对所述音频的声学特征生成；

根据所述人脸关键点，生成所述目标人的视频；

其中，所述方法还包括：

利用所述目标人针对所述音频的声学特征合成音频；

为所述视频添加合成的音频。

2.根据权利要求1所述的方法，其中，所述特征确定模型包括用于根据声学特征确定对应的文本特征的第一模型和用于根据文本特征确定所述目标人的声学特征和人脸关键点的第二模型。

3.根据权利要求1或2所述的方法，其中，所述人脸关键点包括至少一组人脸关键点，且每组人脸关键点用于表征一帧人脸图像。

4.根据权利要求3所述的方法，其中，所述根据所述人脸关键点，生成所述目标人的视频，包括：

生成所述至少一组人脸关键点中的各组人脸关键点分别对应的人脸图像，得到人脸图像集；

利用所述人脸图像集生成所述目标人的视频。

5.根据权利要求4所述的方法，其中，所述生成所述至少一组人脸关键点中的各组人脸关键点分别对应的人脸图像，包括：

对于所述至少一组人脸关键点中的每组人脸关键点，利用预先训练的、所述目标人对应的图像生成模型根据该组人脸关键点，生成该组人脸关键点对应的人脸图像。

6.根据权利要求2所述的方法，其中，所述第一模型为基于语音后验概率构建的模型。

7.根据权利要求1所述的方法，其中，所述音频包括以下至少一项：说话数据、歌唱数据。

8.一种用于生成视频的装置，包括：

获取单元，被配置成获取从音频提取的声学特征；

确定单元，被配置成利用预先训练的、目标人对应的特征确定模型根据所述从音频提取的声学特征，确定所述目标人的特征，其中，所述目标人的特征包括所述目标人针对所述音频的声学特征和人脸关键点，所述人脸关键点基于所述目标人针对所述音频的声学特征生成；

生成单元，被配置成根据所述人脸关键点，生成所述目标人的视频；

其中，所述装置还包括：合成单元，被配置成利用目标人针对音频的声学特征合成音频；

添加单元，被配置成为视频添加合成的音频。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。