[发明专利]目标视频的输出方法及装置、存储介质及电子装置

说明书

本申请实施例提供了一种目标视频的输出方法及装置、存储介质及电子装置，所述方法包括：获取第一音频和包含目标人物的第一视频；提取第一音频的音频特征和第一视频中目标人物的人脸特征，其中，目标人物的人脸特征为遮盖住嘴部周边区域的局部特征；将第一音频的音频特征与目标人物的人脸特征拼接后输入训练好的神经网络模型；通过神经网络模型输出包含目标虚拟人物的目标视频，其中，目标虚拟人物与目标人物对应，目标虚拟人物的口型与第一音频对应。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种目标视频的输出方法及装置、存储介质及电子装置。

背景技术

二维(two-dimensional，简称为2D)虚拟人物的生成通常是指通过一个人或几个人的视频数据生成对应的2D虚拟人物，2D虚拟人物在形象上逼近真人，并且针对不同的从文本到语音(Text To Speech，简称为TTS)输入，能够达到与真人接近的口型。可以广泛应用在2D虚拟人物相关的任务上。

目前，相关技术中2D虚拟人物生成方案一般清晰度有限，并且在训练时收敛比较慢，针对不同的人种或者人物特征差别比较大的情况，例如，有无胡子等，模型的训练方式并不通用，需要根据人物特征不断修正训练方式，这也直接影响到最终生成的2D虚拟人物的口型效果。

针对相关技术中，2D虚拟人物生成方案的模型训练效率较低且清晰度较差的问题，相关技术中尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种目标视频的输出方法及装置、存储介质及电子装置，以至少解决相关技术中2D虚拟人物生成方案的模型训练效率较低且清晰度较差的问题。

在本申请的一个实施例中，提出了一种目标视频的输出方法，包括：获取第一音频和包含目标人物的第一视频，其中，所述第一音频为根据文本转换成的语音数据；提取所述第一音频的音频特征和所述第一视频中所述目标人物的人脸特征，其中，所述目标人物的人脸特征为遮盖住嘴部周边区域的局部特征；将所述第一音频的音频特征与所述目标人物的人脸特征拼接后输入训练好的神经网络模型，其中，所述神经网络模型为使用样本数据训练的生成对抗网络模型，所述样本数据包括样本视频数据，所述样本视频数据中包含多个人物对象，所述神经网络模型包括多个门卷积层和多个膨胀门卷积层；通过所述神经网络模型输出包含目标虚拟人物的目标视频，其中，所述目标虚拟人物与所述目标人物对应，所述目标虚拟人物的口型与所述第一音频对应。

在本申请的一个实施例中，还提出了一种目标视频的输出装置，包括：获取模块，配置为获取第一音频和包含目标人物的第一视频，其中，所述第一音频为根据文本转换成的语音数据；提取模块，配置为提取所述第一音频的音频特征和所述第一视频中所述目标人物的人脸特征，其中，所述目标人物的人脸特征为遮盖住嘴部周边区域的局部特征；输入模块，配置为将所述第一音频的音频特征与所述目标人物的人脸特征拼接后输入训练好的神经网络模型，其中，所述神经网络模型为使用样本数据训练的生成对抗网络模型，所述样本数据包括样本视频数据，所述样本视频数据中包含多个人物对象，所述神经网络模型包括多个门卷积层和多个膨胀门卷积层；输出模块，配置为通过所述神经网络模型输出包含目标虚拟人物的目标视频，其中，所述目标虚拟人物与所述目标人物对应，所述目标虚拟人物的口型与所述第一音频对应。

在本申请的一个实施例中，还提出了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在本申请的一个实施例中，还提出了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。