[发明专利]基于人脸相似度分析的明星脸整形化妆推荐方法和装置

说明书

本发明基于明星脸匹配和相似度分析方法提供了一种明星脸整形化妆推荐方法与装置。包括：构建2D/3D人脸库，人脸图像预处理，三维人脸重建，明星脸匹配，明星脸整形推荐与视觉呈现，明星脸化妆推荐与视觉呈现。本发明为了提高人脸匹配的稳定性，采用3D形状特征进行人脸相似度匹配；为了提高用户体验感和趣味性，对用户人脸的整形和化妆过程及效果进行3D视觉呈现。本发明可应用于网络游戏、APP开发，还可以应用于整形、美容和化妆领域。

技术领域

本发明涉及图像处理、图像搜索和模式识别技术领域，特别涉及一种基于人脸相似度分析的明星脸整形化妆推荐方法和装置。

背景技术

近些年来，人们对相似脸搜索和明星脸匹配的关注度日益提高，一些知名应用如微软的twins or not，Face++的相似脸搜索、百度明星脸、百度魔图、寻找明星脸、照照明星脸等的出现，标志着相似脸搜索正成为新一轮的研究热点。然而，目前的明星脸匹配游戏不稳定，即经常出现同一个人输入不同类型的人脸图像导致匹配的明星不一样。另外，目前的明星脸游戏让人感到意犹未尽。用户不想在找到和自己相像的明星后一笑而过就没有下文了，其实大部分用户都是有星粉情结的，如果能与明星脸有进一步的匹配互动，用户会更喜欢。

因此，本发明将提供一种基于三维人脸的明星脸匹配方法来提高人明星脸匹配的稳定性。另外，为用户提供明星化人脸整形化妆的推荐，并视觉呈现其过程与步骤。通过以上方法提高了明星脸匹配的稳定性和用户体验感，且有利于整形、化妆品广告的介入，为开发商带来经济效益。

发明内容

为了解决以上问题，本发明提出一种基于人脸相似度分析的明星脸整形化妆推荐方法和装置。

基于人脸相似度分析的明星脸整形化妆推荐方法，其特征在于，包括如下步骤：

S1构建明星2D/3D人脸库

收集明星人脸图像进行大小尺度归一化处理得到标准化的2D人脸图像，利用3D重建技术对标准化的2D明星脸进行3D重建得到对应的3D人脸图像，以此方式构建至少包括500名的明星2D/3D人脸库。

所述的3D重建技术是采用3D形变模型的方法进行3D重建，其方法所下：

假设新的人脸图像I_input的3D人脸(S_new,T_new)可通过已有的3D人脸模型的形状向量和纹理向量的线性组合表示：

其中，S_n为3D人脸模型的形状向量，T_n为3D人脸模型的纹理向量，a_n,b_n分别为形状和纹理向量的组合系数。那么，只要有了组合系数(a,b)，就能对新的人脸图像进行3D重建。

对新的人脸图像进行3D形变模型匹配，求解组合系数(a,b)的方法为：

其中，I_model是3D人脸模型的2D透视投影图像，由光照模型和摄像机模型确定。纹理组合系数b的求解依此类推。

进一步的，本发明对3D形变模型进行改进提出局部3D形变模型的人脸3D重建方法：

首先，根据人脸关键点将人脸分成额头、眉毛、眼睛、鼻子、嘴巴等5大器官区域，并针对各人脸器官区域构建3D人脸局部器官模型。

然后，对新的人脸进行同样的划分，并利用上述的形变模型对各2D人脸器官区域进行3D重建。

最后，将各局部器官3D图像进行无缝拼接成3D人脸。

S2人脸图像预处理

对输入的人脸图像进行预处理，包括人脸检测、人脸关键点定位、人脸归一化、人脸图像质量评判。