[发明专利]面部合成

说明书

根据本公开的实现，提出了一种用于面部合成的方案。在该方案中，关于第一用户的面部的第一图像和关于第二用户的面部的第二图像被获取。从第一图像中提取表征第一用户的身份的第一特征。从第二图像中提取表征第二图像的多个属性的第二特征，其中多个属性不包括第二用户的身份。然后，基于第一特征和第二特征来生成关于第一用户的面部的第三图像，第三图像体现第一用户的身份和第二图像的多个属性。根据本公开的面部合成方案能够对任何身份的面部图像进行基于身份保留的图像合成，而不管具有该身份的人物的面部图像是否存在于训练数据集中。此外，在训练用于进行上述面部合成的模型时，该方案不需要对除人物身份之外的任何其他属性进行标注。

背景技术

面部合成是计算机视觉和计算机图形学领域富有挑战性的课题之一，其可以广泛地应用于人机交互、影视广告、计算机游戏、远程会议、辅助教学等许多领域。面部合成是指将多幅面部图像的相应属性合成到输出面部图像中的技术。在此所述的“属性”包括但不限于图像中的人物身份、脸部姿态、表情、图像的照明度、图像背景等等。在面部合成技术中，基于身份保留的面部合成是面临挑战的技术问题。在此所述的“基于身份保留的面部合成”是指在将第一面部图像和第二面部图像合成为输出面部图像时，在输出面部图像中保留第一面部图像中的人物身份但是体现第二面部图像中除人物身份之外的其他属性。

面部合成通常依赖于面部合成模型来实现，面部合成模型可以预先利用一组面部图像来被训练。一些传统方案试图实现上述基于身份保留的面部合成，然而它们在模型训练方面往往存在诸多限制，因此期望实现更为通用的基于身份保留的面部合成。

发明内容

根据本公开的实现，提出了一种用于面部合成的方案。在该方案中，待合成的关于第一用户的面部的第一图像和关于第二用户的面部的第二图像被获取。从第一图像中提取表征第一用户的身份的第一特征。从第二图像中提取表征第二图像的多个属性的第二特征，其中多个属性不包括第二用户的身份。然后，基于第一特征和第二特征来生成关于第一用户的面部的第三图像，第三图像体现第一用户的身份和第二图像的多个属性。根据本公开的面部合成方案能够对任何身份的面部图像进行基于身份保留的图像合成，而不管具有该身份的人物的面部图像是否存在于训练数据集中。此外，在训练用于进行上述面部合成的模型时，该方案不需要对除人物身份之外的任何其他属性进行标注。

提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1示出了能够实施本公开的多个实现的计算设备的框图；

图2示出了根据本公开的一些实现的用于面部合成的系统框图；

图3示出了根据本公开的实现的用于面部合成的示例学习网络；

图4示出了根据本公开一些实现的用于训练学习网络的过程的流程图；以及

图5示出了根据本公开一些实现的用于面部合成的过程的流程图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实施方式

现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本主题的范围的任何限制。

如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

示例环境