[发明专利]目标对象的动作驱动方法、装置、设备及存储介质

权利要求书

1.一种目标对象的动作驱动方法，其特征在于，所述方法包括：

获取源语音和目标视频，所述目标视频中包括目标对象；

对所述源语音在每一时刻的语音参数进行人脸参数转换处理，得到所述源语音在对应时刻的源参数；

对所述目标视频进行参数提取，得到目标参数；

根据对所述源参数和所述目标参数进行结合所得到的结合参数，对所述目标视频中的目标对象进行图像重构，得到重构图像；

通过所述重构图像生成合成视频，其中，所述合成视频中具有所述目标对象，且所述目标对象的动作与所述源语音对应。

2.根据权利要求1所述的方法，其特征在于，所述获取源语音，包括：

获取源文本，并对所述源文本进行文本解析，得到所述源文本的语言学特征；

对所述语言学特征进行声学参数提取，得到所述源文本在时域上的声学参数；

对所述声学参数进行转换处理，得到所述源文本在频域上的语音波形；

将所述语音波形对应的语音，确定为所述源语音。

3.根据权利要求1所述的方法，其特征在于，所述源参数包括：表情参数和嘴部关键点参数；

所述对所述源语音在每一时刻的语音参数进行人脸参数转换处理，得到所述源语音在对应时刻的源参数，包括：

对所述源语音进行特征提取，得到所述源语音的语音特征向量；

对所述语音特征向量依次进行卷积处理和全连接处理，得到所述源语音在对应时刻的所述表情参数和所述嘴部关键点参数。

4.根据权利要求3所述的方法，其特征在于，所述对所述语音特征向量依次进行卷积处理和全连接处理，得到所述源语音在对应时刻的所述表情参数和所述嘴部关键点参数，包括：

通过具有特定卷积核的至少两层第一卷积层对所述语音特征向量依次进行所述卷积处理，得到卷积处理向量；

通过至少两层全连接层对所述卷积处理向量依次进行所述全连接处理，得到全连接处理向量；其中，所述全连接处理向量中包括所述表情参数对应的向量和所述嘴部关键点参数对应的向量，所述表情参数对应的向量与所述嘴部关键点参数对应的向量的维度之和，等于所述全连接处理向量的维度。

5.根据权利要求1所述的方法，其特征在于，所述对所述目标视频进行参数提取，得到目标参数，包括：

对所述目标视频的当前视频帧中的所述目标对象依次进行嘴部参数提取和人脸参数提取，对应得到目标嘴部关键点参数和目标人脸参数；

将所述目标嘴部关键点参数和所述目标人脸参数确定为所述目标参数。

6.根据权利要求1所述的方法，其特征在于，所述根据对所述源参数和所述目标参数进行结合所得到的结合参数，对所述目标视频中的目标对象进行图像重构，得到重构图像，包括：

对所述源参数和所述目标参数进行结合，得到所述结合参数；

根据所述结合参数，对所述目标视频中的目标对象进行图像重构，得到嘴部轮廓图和UV贴图；

将所述嘴部轮廓图和所述UV贴图，确定为所述重构图像。

7.根据权利要求6所述的方法，其特征在于，所述源参数包括：表情参数和嘴部关键点参数；所述目标参数包括目标嘴部关键点参数和目标人脸参数；所述目标人脸参数至少包括：目标姿态参数、目标形状参数和目标表情参数；

所述对所述源参数和所述目标参数进行结合，得到所述结合参数，包括：

采用所述表情参数替换所述目标人脸参数中的所述目标表情参数，得到替换后的人脸参数；

采用所述嘴部关键点参数替换所述目标嘴部关键点参数，得到替换后的嘴部关键点参数；

将所述替换后的人脸参数和所述替换后的嘴部关键点参数，确定为所述结合参数。