[发明专利]一种虚拟人脸图像生成方法、装置及电子设备

权利要求书

1.一种虚拟人脸图像生成方法，其特征在于，包括：

获得随机噪声和目标风格类型的真实人脸图像；

对所述随机噪声进行类型化人脸特征映射，获得所述目标风格类型的虚拟人脸特征数据；

对所述真实人脸图像进行特征提取，获得真实人脸特征数据；

对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据；

将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像；

其中，所述虚拟人脸生成器是通过使用第一随机噪声和第一风格类型的真实人脸图像，对预训练模型进行训练获得的。

2.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得混合数据，包括：

确定待用于进行混合处理的特征混合权重；

基于所述特征混合权重，对所述虚拟人脸特征数据和所述真实人脸特征数据进行混合处理，获得所述混合数据。

3.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述虚拟人脸生成器包括自注意力模块，所述自注意力模块用于优化待生成虚拟人脸图像中的人脸细节纹理；所述将所述混合数据输入至训练好的虚拟人脸生成器，获得所述虚拟人脸生成器生成的所述目标风格类型的虚拟人脸图像，包括：

将所述混合数据输入至所述虚拟人脸生成器，获得所述虚拟人脸生成器基于所述自注意力模块进行人脸细节纹理优化处理而生成的所述虚拟人脸图像。

4.根据权利要求3所述的虚拟人脸图像生成方法，其特征在于，所述虚拟人脸生成器是在虚拟人脸生成模型的虚拟人脸生成网络中增加所述自注意力模块而得到的；其中，在所述虚拟人脸生成器中，从第五个复杂卷积堆叠层开始，每个复杂卷积堆叠层后均包括所述自注意力模块。

5.根据权利要求1所述的虚拟人脸图像生成方法，其特征在于，所述第一风格类型的真实人脸图像通过如下方式获得：

获得第一描述文本和第一真实人脸图像；其中，所述第一描述文本为所述第一风格类型的图像风格描述文本；

将所述第一描述文本和所述第一真实人脸图像输入至训练好的图像风格分类器进行图像风格分类，获得所述图像风格分类器输出的图像分类结果；所述图像分类结果为所述第一真实人脸图像是否为所述第一风格类型的真实人脸图像的分类结果；

当所述图像分类结果为是的情况下，将所述第一真实人脸图像确定为所述第一风格类型的真实人脸图像；

其中，所述图像风格分类器是基于第二描述文本和第二风格类型的真实人脸图像训练得到的。

6.根据权利要求5所述的虚拟人脸图像生成方法，其特征在于，所述图像风格分类器包括图像特征提取层、图文关联特征提取层和相似度处理层，所述图像分类结果通过如下方式获得：

将所述第一描述文本输入至所述图文关联特征提取层进行文本特征提取，获得所述图文关联特征提取层输出的文本特征向量；

将所述第一真实人脸图像输入至所述图像特征提取层进行图像特征提取，获得所述图像特征提取层输出的图像特征向量；

将所述文本特征向量与所述图像特征向量输入至所述相似度处理层，获得所述相似度处理层输出的所述图像分类结果；其中，所述相似度处理层用于确定所述文本特征向量与所述图像特征向量的余弦相似度，基于所述余弦相似度与预设相似度阈值的比较结果，生成并输出所述图像分类结果。