[发明专利]基于虚拟图像对应的立体视觉三维人脸建模方法

摘要

本发明基于虚拟图像对应的立体视觉三维人脸建模方法，特征是利用一个参考人脸的三维模型估计输入立体图对中人脸的位姿参数，从而生成相同姿态下的参考人脸的虚拟图像对；由于虚拟图像之间的对应是已知的，通过计算同一姿态下输入人脸与参考人脸之间的对应关系，将虚拟图像对应扩展到输入立体图像的对应，大大改进了人脸立体图对的匹配效果，使由立体视差计算得到的人脸点云数据更为准确；通过将三维点云优化问题转化为一维曲线优化问题而大大提高了处理速度；最后从优化的点云中建立人脸三维表面，进行纹理映射，得到高真实感的人脸三维模型。本发明能够满足各种实际应用场合对三维人脸模型的需求，实用、快速、准确，有着广阔的应用前景。

主权项

1、一种基于虚拟图像对应的立体视觉三维人脸建模方法，包括如下步骤：(1)、标定左右摄像机的内外参数；(2)、采集被测人脸的立体图对，并进行校正；(3)、计算立体图对的对应关系；(4)、利用得到的立体图对的对应关系，建立被测人脸的初始三维点云，并对三维点云进行优化处理；(5)、在优化后的三维点云之上建立三角面片网格，从而得到被测人脸的三维表面；(6)、利用输入的立体图对，合成三维模型的纹理；其特征在于：所述计算立体图对的对应关系，具体包括：首先，利用一个参考人脸三维模型，估计输入立体图对中的被测人脸的姿态、大小和位置，从而生成与输入立体图对中的被测人脸位姿相似的参考人脸的虚拟图像对；接着，计算输入立体图对与虚拟图像对之间的对应关系；最后，利用输入立体图对与虚拟图像对之间的对应关系，以及虚拟图像对左、右图像之间的对应关系，得到输入立体图对之间的对应关系；所述对三维点云进行优化处理，其步骤为：首先通过一个自定义的均匀网格，对点云进行采样，使得点云以网格点坐标为x、y坐标；再插值得到各网格点对应的z坐标；接着以y坐标为游标，提取每一扫描行，即x-z平面内的一条曲线，利用滑动平均窗口算法对曲线的z值进行平滑处理；所述估计输入立体图对中的被测人脸的姿态、大小和位置，具体为：首先在输入的二维人脸图像上定位6个以上的特征点，并预先标定三维模型上对应的特征点；接着建立三维模型特征点的投影点与二维图像特征点之间距离平方和的代价函数，该代价函数以投影矩阵为参数；最后通过非线性优化获得这些参数的最优值；所述计算输入立体图对与虚拟图像对之间的对应关系，其步骤为：在输入图像上和虚拟图像上以人脸特征点为节点组成三角网格；根据在输入图像和虚拟图像上对应的三角形，建立每两个对应三角形之间的仿射关系；判断输入图像上某一点所属的三角形，并确定该三角形在虚拟图像上所处的位置，通过这两个三角形之间的仿射变换关系，将该点映射到虚拟图像上，从而获得其在虚拟图像上的对应点；所述利用输入立体图对与虚拟图像对之间的对应关系，以及虚拟图像对左、右图像之间的对应关系，得到输入立体图对之间的对应关系，其步骤为：首先从输入立体图对中的一幅图像出发，设为左图像，根据输入立体图对左图像与虚拟图像对左图像之间的对应关系，得到输入立体图对左图像上的点P1在虚拟图像对左图像上的对应点P1’；接着通过虚拟图像对之间的对应关系，得到虚拟图像对左图像上的对应点P1’在虚拟图像对右图像上的对应点Pr’；最后通过虚拟图像对右图像与输入立体图对右图像之间的对应关系，得到虚拟图像对右图像上的对应点Pr’在输入立体图对右图像上的对应点Pr，则输入立体图对右图像上的对应点Pr就是所要求的输入立体图对左图像上的点P1的对应点；检验输入立体图对左图像上的点P1与其在输入立体图对右图像上的对应点Pr是否满足极线约束，即它们的y坐标值是否相等，或相差小于某一阀值，以剔除不正确的对应结果。