[发明专利]基于随机人脸图像的三维人头脸模型重建方法

说明书

本发明提供了一种基于随机人脸图像的三维人头脸模型重建方法，利用三维人脸数据库建立了人脸双线性模型和优化算法，通过二维特征点逐步分离人脸的空间姿态、相机参数以及决定人脸几何形状的身份特征和表情特征，利用拉普拉斯变形修正对生成的三维人脸模型进行调整，得到低分辨率的三维人脸模型。最后计算出人脸深度，通过高分辨率模版模型与点云模型配准实现了目标人脸的高精度三维模型重建，使重建后的人头脸模型更符合目标人头脸的形状。本发明消除人脸畸变细节的同时，保持了人脸原有的主要细节，重建效果要更精确，尤其是在人脸细节的重建上，有效减少面部细节畸变和表情影响，生成的人脸模型显示效果更真实。

技术领域

本发明涉及图像处理和计算机图形学技术领域，尤其是一种三维人头脸模型重建方法。

背景技术

人脸对人类来说是最具有特征的部位，既包含着明显的共性特征，又能反映出每个人的不同特性。随着计算机图形图像处理技术的快速发展，人脸的表象描述已经从二维转向了三维。在现代网络大数据的覆盖下，人脸图像成为人脸信息成本最低的数据形式，获取个人脸部图像已经变得非常容易，如何通过目标人脸的一系列随机图像集合进行精确的三维人脸重构存在很大的发展潜力。同时，二维图像含有的人脸信息特征集更加丰富，通过图像集进行人脸重建的精度和真实感也更好。目前为止，建立起二维人脸图像与三维人脸模型之间的技术方法匮乏，三维人脸建模的主要手段是进行人脸扫描，得到人脸的深度信息和表面纹理信息，结合扫描或拍摄的多角度性进行三维人脸模型的重建。由二维图形进行三维模型重建的主流方法是利用光流算法、SFS(明暗恢复形状法)结合双线性模型进行人脸的三维结构重建或是动态人脸细节重建，但重建结果容易发生畸变，且对图像中人脸表情等细节敏感，重建效果不佳。

发明内容

为了克服现有技术的不足，本发明提供一种基于随机人脸图像的三维人头脸模型重建方法。在已有N幅人脸图像集的条件下，根据任意数量的人脸图像中的信息进行三维人脸的高精度重建。利用三维人脸数据库建立了人脸双线性模型和优化算法，通过二维特征点逐步分离人脸的空间姿态、相机参数以及决定人脸几何形状的身份特征和表情特征。同时对人脸边缘轮廓点定义的歧义性做特殊处理，使算法性能更加稳定；利用拉普拉斯变形修正对生成的三维人脸模型进行调整，得到低分辨率的三维人脸模型。在此基础上计算人脸法向量，利用优化算法将人脸反照率、光照系数与人脸表面法向量进行线性组合并约束光照优化，抑制了畸形人脸点云生成。最后计算出人脸深度，通过高分辨率模版模型与点云模型配准实现了目标人脸的高精度三维模型重建，使重建后的人头脸模型更符合目标人头脸的形状。

本发明解决其技术问题所采用的技术方案的步骤如下：

步骤1：人脸特征点的处理；

使用FaceWareHouse人脸数据库作为三维人脸模型的基础数据库，首先对原始人脸模型特征点进行标注，特征点的标注选择以各五官外部轮廓及面部轮廓为标注范围,将标注的人脸特征点进行坐标集合化，记为S_0∈R'_K×2，其中K为特征点个数，S₀的行向量对应特征点的2D坐标，R'为实数集，输入待处理的人脸图像，利用特征点坐标对齐对脸部区域进行初始定位，然后将特征点初始位置放置在定位区域中心，通过级联式回归模型逐级计算，最终输出对人脸图像特征点的预测值；

所述级联式回归模型逐级计算的步骤为：

首先建立训练样本集的图像数据{I⁽ⁱ⁾}、特征点初始位置以及真实值{S^*(i)}，从第1级开始训练，依次对K个特征点分别构造随机森林，并计算样本集的全局特征进而拟合线性回归系数矩阵W₁，最后得到第1级的线性回归输出作为下一级训练的特征点初始位置，重复训练过程，得到人脸图像的线性回归预测模型；

步骤2：随机图像的双线性模型联合优化；