[发明专利]一种基于两张照片的真实感三维人脸重建方法

说明书

本发明一种基于两张照片的真实感三维人脸重建方法，利用事先训练好的ASM检测器检测出人脸正面照片上的特征点，并根据特征点选取最匹配脸型轮廓的3D人头模型，被选取的3D人头模型被分为若干的块，并根据每块对应的2D输入人脸照片上的块特征对3D人头上的块进行变形；最后，纹理也被逐块地创建出来。本发明与现有技术相比，只需要两张照片用于真实感3D人头重建，通过将3D人头划分成若干块并分别进行变形，使得3D人脸的局部特征与人脸照片保持一致，计算复杂度低，方法简单，容易实现，应用广泛。

技术领域

本发明属于计算机图形学与三维重建领域，特别是一种基于两张照片的真实感三维人脸重建方法。

背景技术

随着科学技术的发展和计算机运算能力的增强，吸引了越来越多用户通过虚拟现实来构建一个奇妙的虚拟世界。在虚拟世界中，任何物体都能被构建出来，而随着渲染技术和硬件的支持，真实感的虚拟物体更是为广大受众提供一种前所未有的沉浸式体验，这种体验被应用在许多方面，教育、医疗、娱乐等。当人们想把自己置身于虚拟世界中时，往往会寻找一个与自己相像的角色替代自己，包括身材、发型、肤色，尤其是面部容貌。而面部容貌因为其高度复杂性，使得真实感3D人头重建成为计算机图形学和计算机视觉领域中一项热点和难点。

真实感3D人头重建主要是利用有限的面部数据，最大化地重建3D人头和真实感的皮肤纹理贴图。人脸具有共同特征的同时也存在个体之间的差异。自从Parke于1979年提出了面部参数模型之后，许多人脸重建方法被相继提出。人头重建方法主要分成两大类：第一种是通过扫描仪获取人头的精确空间数据信息以实现人头的三维重建，例如点云，虽然这种方法鲁棒性强、精度高，但是无法实现自动化，因为对点云的处理涉及到一系列复杂的操作和人为干预；另外，利用扫描仪采集人头的3D数据时，环境光照也有一定的要求；另一种是基于一张或多张人头照片来进行3D人头重建，人头照片容易采集而且成本低，相比于第一种方法，第二种方法更容易应用在其他方面，但是，人头照片缺失了深度信息，这给3D人头变形和纹理创建都带来了一定的阻碍，因此，要想实现真实感的3D人头重建，必须通过一系列复杂计算估计出缺失的深度信息。

发明内容

本发明的目的在于提供一种基于两张照片的真实感三维人脸重建方法，尤其是基于人脸的正面和侧面两张照片，通过一系列计算估计出缺失的深度信息来实现真实感的3D人头重建。

本发明一种基于两张照片的真实感三维人脸重建方法，包括如下步骤：

步骤1、3D建模师根据真实的人脸参数创建不同脸型的3D人头模型，并展好各人头模型的uv，创建标准人脸贴图，构建人头数据库；

随机选取预置数量的男性人脸正面照片和女性人脸正面照片，手动标记每张照片中人脸的N个特征点，并将上述人脸正面照片及对应的标记信息作为训练集用于模型训练，得到用于正面人脸特征点检测的主动形状模型ASM检测器，用于自动检测人脸正面照片上的特征点；

步骤2、用户输入两张人脸照片，一张正面，一张侧面，以证件照标准为输入照片的要求，调整人脸照片使得用户界面中的标尺位于人脸照片的合适位置以完成归一化的处理；

步骤3、特征点检测：

利用步骤1训练好的ASM检测器检测出当前输入的人脸正面照片上的N个特征点；对于当前输入的人脸侧面照片，根据从人脸正面照片得到的N个特征点的分布比例关系进行人脸侧面照片的特征点的初步生成；

步骤4、特征点调整：

用户对人脸正面照片上检测后自动生成的特征点的位置进行判断，调整位置有误的特征点，以获得与照片相符的有效特征点集F；

步骤5、根据人脸正面照片的有效特征点集F，与人头数据库中的3D人头模型进行脸型匹配，选取出最相似脸型的3D人头模型：

步骤6、根据人脸正面照片的有效特征点集F，对步骤5选取的3D人头模型进一步完成脸部五官的局部变形，得到3D人头：