[发明专利]基于结构推理的人脸美学评价及增强方法

说明书

本发明公开了一种基于结构推理的人脸美学评价及增强方法。本发明步骤如下：步骤(1)构建人脸美学评价网络，包括卷积神经网络结构和关键点检测网络，将两个网络输出的人脸综合特征和人脸结构特征进行融合，分别输入到两个功能不同的多层感知机中预测，分别输出美学评价结果和人脸属性信息。步骤(2)构建人脸美学增强网络，包括采用内容编码器和可变形卷积提取人脸内容特征；包括采用关键点检测网络和图注意力网络得到的人脸结构特征Ⅱ；将人脸内容特征和人脸结构特征Ⅱ进行融合，输入到解码器中，预测增强后的人脸图像。本发明可以在提升了模型对于人脸结构信息提取的基础之上，使图片美化的效果有显著的提高。

技术领域

本发明提供一种基于结构推理的人脸美学评价及增强方法。

背景技术

人脸美学质量，也称为人脸美观度或吸引力，对于人类的社交活 动具有广泛的影响力。人脸美学质量评价与增强就旨在评估或提高人 脸的美学，从而获得更优的社交体验。相关算法已经在各个领域得到 了广泛应用。

现有的人脸美学质量评价主要集中在二分类、分数预测和分布预 测三个方面。对于美学因素、美学描述等相关研究尚缺少相关数据。 在早期的研究中，研究人员基于启发式规则(如平均对称、面部几何、 黄金分割)设计各种手工特征。然而，这些规则和手工制作的特性缺 乏通用性。现在仍然缺少可靠的学习机制来探索人脸美学评价机理， 使得现有方法可解释性低，且难以用于指导人脸图像的美学质量增强 过程。因此，如何构建人脸美学因素的自学习机制，是人脸美学评价 领域的亟待解决的基础性问题。

人脸美学增强亦称为人脸美化，旨在通过调整人脸肤色、人脸结 构或自动上妆等，提升人脸的吸引力。现有人脸美化方法普遍属于数 据驱动类型，需要美妆后人脸实例作为参考，然后利用数学模型用来 预测实例信息与输入人脸信息之间的融合参数。整体而言，现有工作 只考虑人脸美化的单个方面，对于人脸结构的美化仍然缺少有效的建 模手段，且未考虑人脸美化对于人脸识别的影响。因此，如何实现人 脸结构的建模和迁移，并基于完全模型驱动方式，研究身份保持的多 因素人脸自动美化方法，以提升人脸美化的多样性和可靠性，是相关 技术理论发展和应用推广的重点和难点。

发明内容

本发明的目的是针对现有技术的不足，供一种基于结构推理的人 脸美学评价及增强方法。本发明包含评价和增强两个部分。为了提升 模型对于人脸非网格结构的表征能力，拟利用可变形卷积从人脸图像 中提取综合视觉特征；结合人脸关键点及图模型建模人脸结构，并基 于图模型实现人脸美化过程中的迁移和推理；为了提升结构变形的合 理性，针对可变性卷积和图模型推理过程构建形变一致性约束；最后， 采用身份判别网络及其他分布判别网络，实现美化过程的多种合理性 约束，以提升美化效果。

本发明所采用的技术方案包括如下步骤：

步骤(1)构建人脸美学评价网络：

人脸美学评价网络包括两个分支，分支一采用卷积神经网络结构， 从输入人脸图像中提取美学相关的人脸综合特征；分支二采用关键点 检测网络提取人脸初步结构特征，并利用带有DiffPool池化模块的 图注意力网络对人脸初步结构特征进行变换获取美学相关的人脸结 构特征Ⅰ；将两个分支输出的人脸综合特征和人脸结构特征进行融合， 分别输入到两个功能不同的多层感知机中预测，分别输出美学评价结 果和人脸属性信息。

步骤(2)构建人脸美学增强网络：

人脸美学增强网络包括两个分支，分支一采用内容编码器和可变 形卷积从输入人脸图像中提取人脸内容特征；分支二采用关键点检测 网络提取人脸初步结构特征，并利用图注意力网络对人脸初步结构特 征进行变换获取美学相关的人脸结构特征Ⅱ；将人脸内容特征和人脸 结构特征Ⅱ进行融合，输入到解码器中，预测增强后的人脸图像。

进一步的，所述的步骤(1)所述的人脸美学评价网络：