[发明专利]一种捏脸方法、捏脸系统及存储介质

权利要求书

1.一种捏脸方法，其特征在于：包括以下步骤：

获取对目标人脸图像的自然语言描述，所述自然语言描述包括语音模态的自然语言描述；

随机生成一组虚假的人脸图像；

基于预设的多模态双塔架构模型计算所述自然语言描述与一组虚假的人脸图像中各图像的相关性；所述多模态双塔架构模型包括文本编码器与图像编码器，并通过海量的图像与自然语言数据配对预训练得到；

筛选相关性高于预设阈值的人脸图像，以相关性最高的人脸图像作为第一目标人脸图像；

判断是否有新的对人像的自然语言描述；

若有，则通过预设的大规模预训练多模态模型基于新的对人像的自然语言描述对第一目标人脸图像进行修改得到第二目标人脸图像。

2.如权利要求1所述的捏脸方法，其特征在于：一组虚假的人脸图像为128张人脸图像。

3.如权利要求1所述的捏脸方法，其特征在于：所述自然语言描述还包括文本模态的自然语言描述。

4.如权利要求3所述的捏脸方法，其特征在于：若所述自然语言描述为语音模态的自然语言描述，则通过语音识别模型将语音模态的自然语言描述转换为文本模态的自然语言描述。

5.如权利要求1所述的捏脸方法，其特征在于：随机生成一组虚假的人脸图像的步骤包括；

通过对抗网络生成器随机生成一组虚假的人脸图像。

6.如权利要求1所述的捏脸方法，其特征在于：计算所述自然语言描述与一组虚假的人脸图像中各图像的相关性之后的步骤还包括：

判断所述自然语言描述与一组虚假的人脸图像中各图像的相关性是否超过预设阈值；

若所述自然语言描述与一组虚假的人脸图像中各图像之间的相关性均未超过预设阈值，则重新生成一组新的虚假的人脸图像。

7.一种捏脸系统，用于实现如权利要求1-6任一项所述的捏脸方法，其特征在于：包括输入模块、人像生成模块、文本与图像匹配模块以及优化模块；所述文本与图像匹配模块分别与所述输入模块以及所述人像生成模块信号连接；所述优化模块分别与所述输入模块以及所述文本与图像匹配模块信号连接；所述文本与图像匹配模块包括比较模块与多模态双塔架构模型；

所述输入模块用于获取语言模态的自然语言描述；

所述人像生成模块用于随机生成一组虚假的人脸图像；

所述文本与图像匹配模块用于获取第一目标人脸图像；其中，所述多模态双塔架构模型包括文本编码器与图像编码器，并通过海量的图像与自然语言数据配对预训练得到，用于计算自然语言描述与一组虚假的人脸图像中各图像的相关性；所述比较模块用于比较自然语言描述与一组虚假的人脸图像中各图像之间的相关性是否大于预设阈值；

所述优化模块用于对第一目标人脸图像进行修改得到第二目标人脸图像。

8.如权利要求7所述的捏脸系统，其特征在于：所述输入模块包括语音转文字模块，所述语音转文字模块用于将语音模态的自然语言描述转换成文本模态的自然语言描述。

9.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-6任一项所述的捏脸方法。