[发明专利]视频生成方法、装置、电子设备以及存储介质

说明书

本公开提供了一种视频生成方法、装置、电子设备、存储介质以及程序产品，本公开涉及图像处理技术领域，尤其涉及人工智能、计算机视觉、虚拟/增强现实等技术领域。具体实现方案为：确定与语音特征序列对应的唇形特征序列，语音特征序列是从待生成视频的语音数据中提取的；基于唇形特征序列，从多个模板唇动参数中确定目标模板唇动参数序列，多个模板唇动参数是从包括真实唇动的视频中提取得到的；基于目标模板唇动参数序列，生成目标对象的初始形象序列；以及对目标对象的初始形象序列进行时域渲染处理，得到目标对象的目标形象序列。

技术领域

本公开涉及图像处理技术领域，尤其涉及人工智能、计算机视觉、虚拟/增强现实等技术领域。具体涉及视频生成方法、装置、电子设备、存储介质以及程序产品。

背景技术

随着生活数字化演进，虚拟形象已经逐步被大众所接受，成为智能交互的重要一环。在媒体、客服、教育、社交、游戏、医疗、影视等众多领域展现了应用潜力。在实际应用中，虚拟形象提高了人与机器的交互效果。

发明内容

本公开提供了一种视频生成方法、装置、电子设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种视频生成方法，可以包括：确定与语音特征序列对应的唇形特征序列，其中，所述语音特征序列是从待生成视频的语音数据中提取的；基于所述唇形特征序列，从多个模板唇动参数中确定目标模板唇动参数序列，其中，所述多个模板唇动参数是从包括真实唇动的视频中提取得到的；基于所述目标模板唇动参数序列，生成目标对象的初始形象序列；以及对所述目标对象的初始形象序列进行时域渲染处理，得到所述目标对象的目标形象序列。

根据本公开的另一方面，提供了一种视频生成装置，可以包括：特征确定模块，用于确定与语音特征序列对应的唇形特征序列，其中，所述语音特征序列是从待生成视频的语音数据中提取的；唇动确定模块，用于基于所述唇形特征序列，从多个模板唇动参数中确定目标模板唇动参数序列，其中，所述多个模板唇动参数是从包括真实唇动的视频中提取得到的；生成模块，用于基于所述目标模板唇动参数序列，生成目标对象的初始形象序列；以及时域渲染模块，用于对所述目标对象的初始形象序列进行时域渲染处理，得到所述目标对象的目标形象序列。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本公开的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如本公开的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本公开的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用视频生成方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的视频生成方法的流程图；

图3示意性示出了根据本公开另一实施例的视频生成方法的流程图；

图4示意性示出了根据本公开实施例的视频生成装置的框图；以及

图5示意性示出了根据本公开实施例的适于实现视频生成方法的电子设备的框图。

具体实施方式