[发明专利]一种基于两张照片的真实感三维人脸重建方法

权利要求书

1.一种基于两张照片的真实感三维人脸重建方法，其特征在于包括如下步骤：

步骤1、3D建模师根据真实的人脸参数创建不同脸型的3D人头模型，并展好各人头模型的uv，创建标准人脸贴图，构建人头数据库；

随机选取预置数量的男性人脸正面照片和女性人脸正面照片，手动标记每张照片中人脸的N个特征点，并将上述人脸正面照片及对应的标记信息作为训练集用于模型训练，得到用于正面人脸特征点检测的主动形状模型ASM检测器，用于自动检测人脸正面照片上的特征点；

步骤2、用户输入两张人脸照片，一张正面，一张侧面，以证件照标准为输入照片的要求，调整人脸照片使得用户界面中的标尺位于人脸照片的合适位置以完成归一化的处理；

步骤3、特征点检测：

利用步骤1训练好的ASM检测器检测出当前输入的人脸正面照片上的N个特征点；对于当前输入的人脸侧面照片，根据从人脸正面照片得到的N个特征点的分布比例关系进行人脸侧面照片的特征点的初步生成；

步骤4、特征点调整：

用户对人脸正面照片上检测后自动生成的特征点的位置进行判断，调整位置有误的特征点，以获得与照片相符的有效特征点集F；

步骤5、根据人脸正面照片的有效特征点集F，与人头数据库中的3D人头模型进行脸型匹配，选取出最相似脸型的3D人头模型：

步骤6、根据人脸正面照片的有效特征点集F，对步骤5选取的3D人头模型进一步完成脸部五官的局部变形，得到3D人头：

变形前的3D人头投影上的每个特征点都能通过一个变换矩阵变换到输入的人脸照片上对应的特征点的位置上，而2D空间中的变换矩阵也可以反投射到3D空间中，从而指导3D人头模型完成变形；

步骤7、根据人脸侧面照片的有效特征点集，对步骤6得到的3D人头做细节调整；

步骤8、纹理创建：

将输入的人脸正面照片和步骤5选取出最相似脸型的3D人头模型对应的步骤1提前创建好的标准人脸贴图都划分成相同数量的若干个小块，根据有效特征点集F找到输入的人脸正面照片和该标准人脸贴图上每一个小块的对应关系，从输入的人脸正面照片上抽取与有效特征点集F对应的小块像素填充到该标准人脸贴图上，完成标准人脸贴图上与有效特征点集F对应的人脸区域的填充，剩余区域则保留该标准人脸贴图的内容；

步骤9、纹理映射关系创建：

步骤7中经过细节调整后的3D人头上的第i个顶点v_i坐标[x_i,y_i,z_i]与其纹理坐标[u_i,v_i]满足[x_i,y_i,z_i]·T＝[u_i,v_i]，将N个特征点分别代入，即可通过最小二乘法求解出T,再对剩余的顶点分别进行T变换即可得到每个顶点坐标对应的纹理坐标；

步骤10、渲染与展示：

利用OpenGL绘制渲染最终3D人头模型，用户通过鼠标操作实现对最终3D人头模型的缩放、平移和旋转操作，实现全方位查看。

2.根据权利要求1所述的一种基于两张照片的真实感三维人脸重建方法，其特征在于：所述的ASM算法使用一种主动形状模型来拟合照片中人脸的轮廓线，包括初始化操作和搜索过程，在初始化操作过程中，先粗略确定模型的尺度和偏移，要求输入的人脸正面照片需要满足证件照标准，通过这个约束条件来减少后续搜索子空间的范围，使其收敛于一个正确的形状和位置，方便输入照片和3D人脸特征点之间的比较，另外通过sobel边缘检测获得眼角点的位置和其他边缘可以提高估计的精度。