[发明专利]生成虚拟形象的方法、电子设备和计算机程序产品

说明书

本公开的实施例涉及生成虚拟形象的方法、电子设备和计算机程序产品。虚拟形象的生成方法包括生成视频的图像信息、语音信息以及文本信息之间的关联性的指示。该方法还可以包括基于关联性的指示，生成表示视频中的目标对象的特征的第一特征集合和第二特征集合，其中，第一特征集合表示视频中的目标对象的不变性特征，第二特征集合包括表示视频中的目标对象的等变性特征。该方法还可以基于第一特征集合和第二特征集合，生成虚拟形象。通过该方法，可以使得生成的虚拟形象更加准确形象，效果更好；同时，降低了数据标注的成本，提升了操作效率，并进一步提升了用户体验。

技术领域

本公开的实施例涉及视频处理，并且更具体地，涉及基于视频生成虚拟形象的方法、电子设备和计算机程序产品。

背景技术

随着计算机视觉技术的不断发展，3D人脸重建越来越得到广泛应用，例如，基于3D人脸重建可以生成虚拟形象，可以应用在诸如远程会议、娱乐等应用场景中，提升用户的体验。当前，通常采用点云技术实现3D人脸重建。然而，点云技术需要依赖于大量的标注数据，这就降低了人脸重建的效率并且提升了处理成本。此外，现有的技术在生成虚拟形象的过程中，并不能非常准确地获得人脸不变性特征的表示，而且缺乏对输入信息的关联性的利用，因此，生成的虚拟形象效果并不令人满意。

发明内容

根据本公开的第一方面，提供了一种生成虚拟形象的方法。该方法包括：生成视频的图像信息、语音信息以及文本信息之间的关联性的指示；基于关联性的指示，生成表示视频中的目标对象的特征的第一特征集合和第二特征集合，其中，第一特征集合表示视频中的目标对象的不变性特征，第二特征集合包括表示视频中的目标对象的等变性特征；以及基于第一特征集合和第二特征集合，生成虚拟形象。

根据本公开的第二方面，提供了一种虚拟形象生成模型的训练方法。该训练方法包括：接收样本图像、样本语音以及样本文本，样本图像中包括目标对象；生成样本图像、样本语音以及样本文本之间的关联性的指示；基于关联性的所述指示，生成用于表示目标对象的特征的第一训练特征集合和第二训练特征集合；以及基于第一训练特征集合和训练第二特征集合，训练虚拟形象生成模型。

根据本公开的第三方面，提供了一种用于生成虚拟形象的装置。该装置包括关联性指示生成单元、特征集合生成单元、以及虚拟形象生成单元。所述关联性指示生成单元被配置为生成视频的图像信息、语音信息以及文本信息之间的关联性的指示。特征集合生成单元被配置为基于关联性的指示，生成表示视频中的目标对象的特征的第一特征集合和第二特征集合，其中，第一特征集合表示视频中的目标对象的不变性特征，第二特征集合包括表示视频中的目标对象的等变性特征。并且，虚拟形象生成单元被配置为基于第一特征集合和第二特征集合，生成虚拟形象。

根据本公开的第四方面，提供了一种用于训练虚拟形象生成模型的训练装置。该训练装置包括接收单元、训练关联性指示生成单元、训练特征集合生成单元以及训练单元。接收单元被配置为接收样本图像、样本语音以及样本文本，样本图像中包括目标对象；训练关联性指示生成单元被配置为生成样本图像、样本语音以及样本文本之间的关联性的指示。训练特征集合生成单元被配置为基于关联性的所述指示，生成用于表示目标对象的特征的第一训练特征集合和第二训练特征集合。并且，训练单元被配置为基于第一训练特征集合和训练第二特征集合，训练虚拟形象生成模型。

根据本公开的第五方面，提供了一种电子设备。该电子设备包括至少一个处理单元以及至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，该指令当由至少一个处理单元执行时，使电子设备执行根据本公开的第一方面的方法。

根据本公开的第六方面，提供了一种电子设备。该电子设备包括至少一个处理单元以及至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，该指令当由至少一个处理单元执行时，使电子设备执行根据本公开的第二方面的方法。