[发明专利]目标对象的动作驱动方法、装置、设备及存储介质

说明书

本申请实施例提供一种目标对象的动作驱动方法、装置、设备及存储介质，涉及人工智能技术领域。方法包括：获取源语音和目标视频，所述目标视频中包括目标对象，对源语音在每一时刻的语音参数进行人脸参数转换处理，得到所述源语音在对应时刻的源参数；对目标视频进行参数提取，得到目标参数；根据对所述源参数和所述目标参数进行结合所得到的结合参数，对所述目标视频中的目标对象进行图像重构，得到重构图像；通过所述重构图像生成合成视频，其中，所述合成视频中具有所述目标对象，且所述目标对象的动作与所述源语音对应。通过本申请，能够使得最终得到的语音驱动目标对象动作的合成视频更加平滑和真实，提高了视频合成的视觉效果。

技术领域

本申请实施例涉及互联网技术领域，涉及但不限于一种目标对象的动作驱动方法、装置、设备及存储介质。

背景技术

近年来，在嘴型同步说话视频生成领域中，主流的方法都是基于深度学习来实现，相关技术中，一种实现方式是利用循环神经网络从语音特征中学习到嘴部关键点，然后基于嘴部关键点信息生成嘴部纹理，最后和目标视频帧结合得到嘴型同步说话视频帧。另一种实现方式是首先根据多个不同来源的声音片段学习一个通用、共享的“语音-表情”空间，然后根据所得的表情参数得到最终的嘴型同步说话视频帧。

但是，相关技术中的方法所生成的最终的嘴型同步说话视频帧均存在视频不平滑且不真实的问题。

发明内容

本申请实施例提供一种目标对象的动作驱动方法、装置、设备及存储介质，涉及人工智能技术领域。由于分别确定出源语音对应的源参数和目标视频对应的目标参数，并根据源参数和目标参数的结合参数对目标对象进行图像重构，进而得到合成视频，如此，由于基于结合参数得到最终语音驱动目标对象的动作的合成视频，使得最终所得到的合成视频更加平滑和真实。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种目标对象的动作驱动方法，所述方法包括：

获取源语音和目标视频，所述目标视频中包括目标对象；

对所述源语音在每一时刻的语音参数进行人脸参数转换处理，得到所述源语音在对应时刻的源参数；

对所述目标视频进行参数提取，得到目标参数；

根据对所述源参数和所述目标参数进行结合所得到的结合参数，对所述目标视频中的目标对象进行图像重构，得到重构图像；

通过所述重构图像生成合成视频，其中，所述合成视频中具有所述目标对象，且所述目标对象的动作与所述源语音对应。

本申请实施例提供一种目标对象的动作驱动装置，所述装置包括：

获取模块，用于获取源语音和目标视频，所述目标视频中包括目标对象；

人脸参数转换模块，用于对所述源语音在每一时刻的语音参数进行人脸参数转换处理，得到所述源语音在对应时刻的源参数；

参数提取模块，用于对所述目标视频进行参数提取，得到目标参数；

图像重构模块，用于根据对所述源参数和所述目标参数进行结合所得到的结合参数，对所述目标视频中的目标对象进行图像重构，得到重构图像；

生成模块，用于通过所述重构图像生成合成视频，其中，所述合成视频中具有所述目标对象，且所述目标对象的动作与所述源语音对应。

本申请实施例提供一种目标对象的动作驱动系统，至少包括：终端和服务器；

所述终端，用于向所述服务器发送所述目标对象的动作驱动请求，所述动作驱动请求中包括源语音和目标视频，所述目标视频中包括目标对象；

所述服务器，用于响应于所述动作驱动请求，实现上述的目标对象的动作驱动方法。