[发明专利]一种捏脸方法、捏脸系统及存储介质

说明书

本发明涉及自然语言领域，特别涉及一种捏脸方法、捏脸系统及存储介质，本发明的捏脸方法包括以下步骤：获取对目标人脸图像的自然语言描述；随机生成一组人脸图像；计算自然语言描述与一组人脸图像中各图像的相关性；筛选相关性高于预设阈值的人脸图像，以相关性最高的人脸图像作为第一目标人脸图像。本发明通过用户输入自然语言描述即可获得用户想象中的目标人脸图像，操作简单；此外，本发明获取第一目标人脸图像的时候就已经考虑到人脸图像与自然语言描述之间的相关性，因此获取的第一目标人脸图像效果更好。本发明还提供一种捏脸系统与存储介质，该捏脸系统与存储介质与上述捏脸方法具有相同的有益效果。

技术领域

本发明涉及人脸图像生成技术领域，特别涉及一种捏脸方法、捏脸系统及存储介质。

背景技术

捏脸在网络游戏中泛指对虚拟角色样貌进行DIY的数据操作，目前，用户在进入游戏或者登录某个网站或进入元宇宙空间时，想要一个想象中的人脸图像作为头像需要通过满是复杂的拖动条的控制面板来生成用户预期的头像，而对于一般的用户而已，这种操作方式较为复杂，且最终获得的头像往往与用户想象中的样子相差较大。

发明内容

为降低捏脸难度，本发明提供了一种捏脸方法、捏脸系统及存储介质。

本发明解决技术问题的方案是提供一种捏脸方法，包括以下步骤：

获取对目标人脸图像的自然语言描述，所述自然语言描述包括语音模态的自然语言描述；

随机生成一组虚假的人脸图像；

基于预设的多模态双塔架构模型计算所述自然语言描述与一组虚假的人脸图像中各图像的相关性；所述多模态双塔架构模型包括文本编码器与图像编码器，并通过海量的图像与自然语言数据配对预训练得到；

筛选相关性高于预设阈值的人脸图像，以相关性最高的人脸图像作为第一目标人脸图像；

判断是否有新的对人像的自然语言描述；

若有，则通过预设的大规模预训练多模态模型基于新的对人像的自然语言描述对第一目标人脸图像进行修改得到第二目标人脸图像。

优选地，一组虚假的人脸图像为128张人脸图像。

优选地，所述自然语言描述还包括文本模态的自然语言描述。

优选地，若所述自然语言描述为语音模态的自然语言描述，则通过语音识别模型将语音模态的自然语言描述转换为文本模态的自然语言描述。

优选地，随机生成一组虚假的人脸图像的步骤包括；

通过对抗网络生成器随机生成一组虚假的人脸图像。

优选地，计算所述自然语言描述与一组虚假的人脸图像中各图像的相关性之后的步骤还包括：

判断所述自然语言描述与一组虚假的人脸图像中各图像的相关性是否超过预设阈值；

若所述自然语言描述与一组虚假的人脸图像中各图像之间的相关性均未超过预设阈值，则重新生成一组新的虚假的人脸图像。

本发明为解决上述技术问题还提供一种捏脸系统，用于实现上述捏脸方法，包括输入模块、人像生成模块、文本与图像匹配模块以及优化模块；所述文本与图像匹配模块分别与所述输入模块以及所述人像生成模块信号连接；所述优化模块分别与所述输入模块以及所述文本与图像匹配模块信号连接；所述文本与图像匹配模块包括比较模块与多模态双塔架构模型；

所述输入模块用于获取语言模态的自然语言描述；

所述人像生成模块用于随机生成一组虚假的人脸图像；