[发明专利]视频生成方法、装置、电子设备以及存储介质

权利要求书

1.一种视频生成方法，包括：

确定与语音特征序列对应的唇形特征序列，其中，所述语音特征序列是从待生成视频的语音数据中提取的；

基于所述唇形特征序列，从多个模板唇动参数中确定目标模板唇动参数序列，其中，所述多个模板唇动参数是从包括真实唇动的视频中提取得到的；

基于所述目标模板唇动参数序列，生成目标对象的初始形象序列；以及

对所述目标对象的初始形象序列进行时域渲染处理，得到所述目标对象的目标形象序列。

2.根据权利要求1所述的方法，还包括：

基于所述待生成视频的语音数据，确定目标表情类型信息；以及

基于所述目标表情类型信息，从表情映射关系中的多个模板表情参数中确定目标模板表情参数序列，其中，所述表情映射关系表征了所述多个模板表情参数和多个表情类型信息之间的映射关系，所述多个模板表情参数是从包括真实表情的视频中提取得到的。

3.根据权利要求2所述的方法，其中，所述基于所述目标模板唇动参数序列，生成目标对象的初始形象序列包括：

确定所述目标对象的形象参数信息，其中，所述形象参数信息包括以下至少一项：头部姿态信息、脸部网格信息、脸部纹理信息、光照参数信息；

对所述目标模板表情参数序列和所述目标模板唇动参数序列进行融合处理，得到表情融合的唇动参数序列；以及

基于所述表情融合的唇动参数序列和所述形象参数信息，生成目标对象的初始形象序列。

4.根据权利要求1至3中任一项所述的方法，其中，所述基于所述唇形特征序列，从多个模板唇动参数中确定目标模板唇动参数序列包括：

针对所述唇形特征序列中的每个唇形特征，从多个模板唇形特征中确定与所述唇形特征相匹配的目标模板唇形特征；以及

基于所述目标模板唇形特征，从唇形映射关系中的所述多个模板唇动参数中确定所述目标模板唇动参数，其中，所述唇形映射关系表征了所述多个模板唇动参数和所述多个模板唇形特征之间的映射关系。

5.根据权利要求1至4中任一项所述的方法，还包括：

获取对象的唇动视频帧序列；以及

基于所述对象的唇动视频帧序列，确定所述多个模板唇动参数。

6.根据权利要求5所述的方法，还包括：

从所述对象的唇动视频帧序列中确定所述对象的表情视频帧序列；以及

基于所述对象的表情视频帧序列，确定所述多个模板表情参数。

7.一种视频生成装置，包括：

特征确定模块，用于确定与语音特征序列对应的唇形特征序列，其中，所述语音特征序列是从待生成视频的语音数据中提取的；

唇动确定模块，用于基于所述唇形特征序列，从多个模板唇动参数中确定目标模板唇动参数序列，其中，所述多个模板唇动参数是从包括真实唇动的视频中提取得到的；

生成模块，用于基于所述目标模板唇动参数序列，生成目标对象的初始形象序列；以及

时域渲染模块，用于对所述目标对象的初始形象序列进行时域渲染处理，得到所述目标对象的目标形象序列。

8.根据权利要求7所述的装置，还包括：

类型确定模块，用于基于所述待生成视频的语音数据，确定目标表情类型信息；以及

表情确定模块，用于基于所述目标表情类型信息，从表情映射关系中的多个模板表情参数中确定目标模板表情参数序列，其中，所述表情映射关系表征了所述多个模板表情参数和多个表情类型信息之间的映射关系，所述多个模板表情参数是从包括真实表情的视频中提取得到的。