[发明专利]生成虚拟形象的方法、电子设备和计算机程序产品

权利要求书

1.一种生成虚拟形象的方法，包括：

生成视频的图像信息、语音信息以及文本信息之间的关联性的指示；

基于所述关联性的所述指示，生成表示所述视频中的目标对象的特征的第一特征集合和第二特征集合，其中，所述第一特征集合表示所述视频中的目标对象的不变性特征，所述第二特征集合包括表示所述视频中的目标对象的等变性特征；以及

基于所述第一特征集合和所述第二特征集合，生成所述虚拟形象。

2.根据权利要求1所述的方法，生成视频的图像信息、语音信息以及文本信息之间的关联性的指示，包括：

分别对所述图像信息、所述语音信息以及所述文本信息进行编码，生成对应的图像特征集合、语音特征集合和文本特征集合；以及

基于所述图像特征集合、所述语音特征集合和所述文本特征集合之间的关联性，生成所述关联性的所述指示。

3.根据权利要求2所述的方法，其中，所述关联性的所述指示中的每个元素表示所述图像特征集合、所述语音特征集合和所述文本特征集合中的每个特征集合的对应索引处的元素之间的关联性。

4.根据权利要求1所述的方法，其中，所述关联性的所述指示包括合成张量，并且其中基于所述关联性的所述指示，生成表示所述视频中的目标对象的特征的第一特征集合和第二特征集合，包括：

分解所述合成张量，以获得分解后的图像特征集合、分解后的语音特征集合以及分解后的文本特征集合；

整合所述分解后的图像特征集合、所述分解后的语音特征集合以及所述分解后的文本特征集合，以生成经整合的特征集合。

5.根据权利要求4所述的方法，基于所述指示，生成表示所述视频中的目标对象的特征的第一特征集合和第二特征集合，还包括：

将所述经整合的特征集合分解为所述第一特征集合和所述第二特征集合。

6.根据权利要求1所述的方法，其中，所述方法由经训练的模型执行，其中，通过迭代执行以下动作来训练所述模型：

获取训练特征集合以及对应的经变换的训练特征集合，其中，所述对应的经变换的训练特征集合经由对所述训练特征集合中的训练特征进行变换之后得到；

分解所述训练特征集合，获得分解的第一训练特征集合和分解的第二训练特征集合；

分解所述经变换的训练特征集合，获得第一经变换的分解训练特征集合和第二经变换的分解训练特征集合；

根据所述分解的第一训练特征集合和所述第一经变换的分解训练特征集合，获得第一相似度损失；

根据所述分解的第二训练特征集合和所述第二经变换的分解训练特征集合，获得第二相似度损失。

7.根据权利要求1所述的方法，所述方法还包括：

基于所述第一特征集合和所述第二特征集合，获取所述目标对象的表情参数、属性参数和姿态参数；

根据获取到的表情参数、属性参数和姿态参数，对待渲染对象进行渲染，以生成所述虚拟形象。

8.根据权利要求1所述的方法，所述方法还包括：

对所述语音信息进行语音识别，以获得所述文本信息。

9.根据权利要求1所述的方法，其中，所述图像信息、所述语音信息以及所述文本信息在所述视频中具有时间一致性。

10.一种虚拟形象生成模型的训练方法，包括：

接收样本图像、样本语音以及样本文本，所述样本图像中包括目标对象；

生成所述样本图像、所述样本语音以及所述样本文本之间的关联性的指示；

基于所述关联性的所述指示，生成用于表示所述目标对象的特征的第一训练特征集合和第二训练特征集合；以及

基于所述第一训练特征集合和所述训练第二特征集合，训练所述虚拟形象生成模型。