[发明专利]一种基于两张照片的真实感三维人脸重建方法

摘要

本发明一种基于两张照片的真实感三维人脸重建方法，利用事先训练好的ASM检测器检测出人脸正面照片上的特征点，并根据特征点选取最匹配脸型轮廓的3D人头模型，被选取的3D人头模型被分为若干的块，并根据每块对应的2D输入人脸照片上的块特征对3D人头上的块进行变形；最后，纹理也被逐块地创建出来。本发明与现有技术相比，只需要两张照片用于真实感3D人头重建，通过将3D人头划分成若干块并分别进行变形，使得3D人脸的局部特征与人脸照片保持一致，计算复杂度低，方法简单，容易实现，应用广泛。

主权项

1.一种基于两张照片的真实感三维人脸重建方法，其特征在于包括如下步骤：步骤1、3D建模师根据真实的人脸参数创建不同脸型的3D人头模型，并展好各人头模型的uv，创建标准人脸贴图，构建人头数据库；随机选取预置数量的男性人脸正面照片和女性人脸正面照片，手动标记每张照片中人脸的N个特征点，并将上述人脸正面照片及对应的标记信息作为训练集用于模型训练，得到用于正面人脸特征点检测的主动形状模型ASM检测器，用于自动检测人脸正面照片上的特征点；步骤2、用户输入两张人脸照片，一张正面，一张侧面，以证件照标准为输入照片的要求，调整人脸照片使得用户界面中的标尺位于人脸照片的合适位置以完成归一化的处理；步骤3、特征点检测：利用步骤1训练好的ASM检测器检测出当前输入的人脸正面照片上的N个特征点；对于当前输入的人脸侧面照片，根据从人脸正面照片得到的N个特征点的分布比例关系进行人脸侧面照片的特征点的初步生成；步骤4、特征点调整：用户对人脸正面照片上检测后自动生成的特征点的位置进行判断，调整位置有误的特征点，以获得与照片相符的有效特征点集F；步骤5、根据人脸正面照片的有效特征点集F，与人头数据库中的3D人头模型进行脸型匹配，选取出最相似脸型的3D人头模型：步骤6、根据人脸正面照片的有效特征点集F，对步骤5选取的3D人头模型进一步完成脸部五官的局部变形，得到3D人头：变形前的3D人头投影上的每个特征点都能通过一个变换矩阵变换到输入的人脸照片上对应的特征点的位置上，而2D空间中的变换矩阵也可以反投射到3D空间中，从而指导3D人头模型完成变形；步骤7、根据人脸侧面照片的有效特征点集，对步骤6得到的3D人头做细节调整；步骤8、纹理创建：将输入的人脸正面照片和步骤5选取出最相似脸型的3D人头模型对应的步骤1提前创建好的标准人脸贴图都划分成相同数量的若干个小块，根据有效特征点集F找到输入的人脸正面照片和该标准人脸贴图上每一个小块的对应关系，从输入的人脸正面照片上抽取与有效特征点集F对应的小块像素填充到该标准人脸贴图上，完成标准人脸贴图上与有效特征点集F对应的人脸区域的填充，剩余区域则保留该标准人脸贴图的内容；步骤9、纹理映射关系创建：步骤7中经过细节调整后的3D人头上的第i个顶点vi坐标[xi,yi,zi]与其纹理坐标[ui,vi]满足[xi,yi,zi]·T＝[ui,vi]，将N个特征点分别代入，即可通过最小二乘法求解出T,再对剩余的顶点分别进行T变换即可得到每个顶点坐标对应的纹理坐标；步骤10、渲染与展示：利用OpenGL绘制渲染最终3D人头模型，用户通过鼠标操作实现对最终3D人头模型的缩放、平移和旋转操作，实现全方位查看。