[发明专利]基于随机人脸图像的三维人头脸模型重建方法

摘要

本发明提供了一种基于随机人脸图像的三维人头脸模型重建方法，利用三维人脸数据库建立了人脸双线性模型和优化算法，通过二维特征点逐步分离人脸的空间姿态、相机参数以及决定人脸几何形状的身份特征和表情特征，利用拉普拉斯变形修正对生成的三维人脸模型进行调整，得到低分辨率的三维人脸模型。最后计算出人脸深度，通过高分辨率模版模型与点云模型配准实现了目标人脸的高精度三维模型重建，使重建后的人头脸模型更符合目标人头脸的形状。本发明消除人脸畸变细节的同时，保持了人脸原有的主要细节，重建效果要更精确，尤其是在人脸细节的重建上，有效减少面部细节畸变和表情影响，生成的人脸模型显示效果更真实。

主权项

1.一种基于随机人脸图像的三维人头脸模型重建方法，其特征在于包括下述步骤：步骤1：人脸特征点的处理；使用FaceWareHouse人脸数据库作为三维人脸模型的基础数据库，首先对原始人脸模型特征点进行标注，特征点的标注选择以各五官外部轮廓及面部轮廓为标注范围,将标注的人脸特征点进行坐标集合化，记为S₀∈R'_K×2，其中K为特征点个数，S₀的行向量对应特征点的2D坐标，R'为实数集，输入待处理的人脸图像，利用特征点坐标对齐对脸部区域进行初始定位，然后将特征点初始位置放置在定位区域中心，通过级联式回归模型逐级计算，最终输出对人脸图像特征点的预测值；所述级联式回归模型逐级计算的步骤为：首先建立训练样本集的图像数据{I⁽ⁱ⁾}、特征点初始位置以及真实值{S^*(i)}，从第1级开始训练，依次对K个特征点分别构造随机森林，并计算样本集的全局特征进而拟合线性回归系数矩阵W₁，最后得到第1级的线性回归输出作为下一级训练的特征点初始位置，重复训练过程，得到人脸图像的线性回归预测模型；步骤2：随机图像的双线性模型联合优化；首先将三维人脸模型中人脸侧面的所有坐标点作为人脸轮廓的候选点，标注人脸轮廓所有可能的候选点v_candid，并将候选点按人脸高度排列，在所有候选点v_candid中，选择法线方向与Z轴夹角最大的顶点作为可能的轮廓点v_contour，最后根据图像特征点中的轮廓部分选择与v_contour中的最近点作为三维模型中的人脸轮廓特征点v_feature，其中v_candid表示人脸轮廓的所有候选特征点，v_contour表示根据处理需要选择的待定特征点，v_feature表示最终选定的人脸轮廓特征点，当输入图像的人脸姿态有姿态偏差时，则将S₀∈R'_K×2人脸特征点坐标集合中的轮廓点替换为最终选定的人脸轮廓特征点；根据FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模型F表示为：F＝R×(Cr×ω_id×ω_exp)+T    (1)其中：ω_id与ω_exp分别为当前人脸的身份特征向量与表情特征向量，R与T分别表示当前人脸在空间中的旋转矩阵与平移向量，投影后的人脸表面每个像素的位置与该点的深度以及相机焦距有关，投影计算表示为：其中f表示相机焦距，F_x，F_y，F_z分别表示三维几何模型F中顶点的x坐标，y坐标与z坐标，P_x与P_y表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为：F_2D＝Q(f)·(R·(Cr×ω_id×ω_exp)+T    (3)其中Q(f)表示公式(2)中的投影集合形式，F_2D表示对三维几何模型F进行投影后的人脸模型函数，{q_i}为输入图像中人脸特征点的2D坐标集合，则由{q_i}与F_2D建立模型特征目标函数：其中i为坐标集{q_i}中第i个人脸特征点，R，T，f，ω_id，ω_exp为未知参数，L表示特征点的个数，从二维特征点重建三维人脸模型即求该目标函数最小化的最优解：其中R^*，T^*，f^*，分别表示R，T，f，ω_id，ω_exp参数的待求最佳值，E_data为根据人脸特征点坐标进行条件约束的人脸几何模型投影后的模型函数，将待求解的变量分为四组，即{R,T}，{f}，{ω_id}以及{ω_exp}，对四组变量进行初始化，固定其中任意三组变量，仅对一组变量进行优化求解，更新所求得的一组变量值后，再依次对其余三组变量进行循环迭代，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ω_id与ω_exp变量进行求解时，加入关于ω_id与ω_exp的规则化项，进一步对ω_id与ω_exp约束，以避免出现畸形人脸；ω_id与ω_exp的规则化项为：其中E_{reg_id}、E_{reg_exp}分别表示ω_id与ω_exp的规则化项，分别表示ω_id与ω_exp的数学期望，cov^‑1(U_id)、cov^‑1(U_exp)分别表示ω_id与ω_exp的方差；加入规则化项后的人脸身份特征ω_id与表情特征ω_exp计算避免出现人脸畸变，为参数最优解，则图像中人脸的三维几何模型F的优化函数表示为：其中w₁与w₂分别对应规则化项E_{reg_id}与E_{reg_exp}的权重；所述图像中人脸的三维几何模型F的优化函数的计算步骤为：将图像中人脸三维几何模型的旋转矩阵R初始化为单位矩阵，平移向量T初始化为零向量，相机焦距f取鼻尖与后脑勺距离的10倍，并初始化与先对人脸姿态R与T进行求解，此时优化问题变为：其中f_c,ω_id,c与ω_exp,c分别为固定{R,T}变量后的当前计算结果，在计算出人脸姿态R与T之后，再依次对ω_id与ω_exp优化计算，首先计算ω_id，固定R，T，f，ω_exp后，优化问题为：其中B_exp,c＝Cr×_expω_exp,c，表示张量核与当前人脸表情特征向量的模乘，此时三阶张量Cr收缩为二维矩阵B_exp,c；同理可得关于ω_exp的优化结果为：最后对焦距f进行优化，优化问题为：记S_c＝Cr×ω_id×ω_exp，式(12)为关于f的线性优化，f具有最小二乘解，重复公式(9)到(12)的计算，当公式(8)的图像中人脸的三维几何模型F的优化函数下降至低于阈值或超过最大迭代次数时，停止迭代，得到人脸模型的旋转矩阵R和平移向量T，相机焦距f与人脸身份特征ω_id和表情特征ω_exp的最优解，即人脸低分辨率模型的各个参数；步骤3：拉普拉斯变形修正；利用曲面网格的拉普拉斯变形对步骤2中得到的人脸低分辨率模型进行修正，具体步骤为：根据步骤2中计算求得的人脸低分辨率模型的的旋转矩阵R与平移分量T、相机焦距f以及三维人脸模型F＝R×(Cr×ω_id×ω_exp)+T，利用拉普拉斯修正变形进行优化，首先得到当前三维人脸模型的坐标顶点约束方程：其中，为三维人脸模型的待求约束顶点，第一项为曲面拉普拉斯坐标保持项，H为拉普拉斯系数矩阵，由当前三维人脸模型的坐标顶点进行拉普拉斯矩阵变形得到，第二项为控制点约束项，要求变形后模型的特征点经旋转平移与透视投影后，在图像空间与图像特征点重合，根据步骤1得到的输入图像的人脸特征点的坐标{q_i}，v′_feature表示三维模型的特征点，w₃为控制权重，w₃取值为w₃＝0.8；步骤4：人脸法向量计算；利用坐标姿态变换将步骤3中修正后的低分辨率人脸模型重投影至图像空间，使低分辨率模型的投影与目标图像中的人脸重合对齐；则此时对于图像中人脸区域内的每个像素，获得该像素对应低分辨率模型上的深度值与法向量；所述人脸法向量优化的计算步骤如下：将输入图像中的人脸表面像素点的RGB分量分别按人脸表面法向量做集合，记像素深度值为z_ref，像素法向量为n_ref，人脸反照率ρ，从输入图像I中反向计算人脸表面法向量n(x,y)、人脸反照率ρ与光照系数的过程即最小化如下方程：其中w₄,w₅,w₆分别对应E_albedo,E_normal与E_{integrabiilty}权重，n^*,ρ^*,分别为人脸表面法向量、人脸反照率、光照系数的待求最佳值，L表示光照系数，L＞0表示在光照系数约束方程中的取值范围，E_data为图像某点像素处的反照率、光照系数以及人脸表面法向量的最小二乘形式，表达式为：E_albedo为对人脸反照率ρ的约束，即限制人脸反照率ρ产生皱纹等细节的明暗变化，其中LoG表示高斯拉普拉斯边缘检测算子，表达式为：E_albedo＝∑_(x,y)∈face||LoG·ρ(x,y)‑LoG·ρ_ref(x,y)||²             (16)E_normal为限制法向量n的细节变化与参考法向量n_ref一致，对每个像素点处的法向量n(x,y)单独设置权重，表达式为：E_normal＝∑_(x,y)∈face||LoG·n(x,y)‑LoG·n_ref||²                 (17)E_{integrabiilty}为人脸表面构成的曲面连续函数，表达式为：对式(14)中的照光系数建立不等式约束，令L＞0，权重取值为w₄＝0.01，w₅＝0.001，w₆＝0.1，采用坐标下降法求解，固定其中两个变量，对剩余第三个变量进行优化求解，更新所求得的变量值后，再依次对其余两个变量进行循环迭代，计算出光照系数、人脸法向量以及反照率；步骤5：人脸深度计算；在计算出人脸区域内每个像素对应的法向量之后，像素坐标处对应的深度值由偏微分方程(19)至公式(21)计算，对二维像素坐标进行delaunay三角剖分，并将剖分后的三角网格按照像素点深度排列生成带有人脸表面细节的三维点云模型；其中网格中的点云顶点按像素坐标分布排列，网格连接关系随机生成；所述人脸深度计算过程如下：在得到人脸区域内每个像素对应的法向量n(x,y)后，像素坐标(x,y)处对应的深度z(x,y)由偏微分方程(19)到(21)进行计算：其中，p与q分别为法向量像素坐标中对x与y的偏导，表示人脸区域有效像素的边界，该边界由人脸深度初始值z_ref的阈值得到，对构成关于z(x,y)的线性方程组，使用最小二乘求解，得到输入图像的人脸深度z(x,y)；步骤6：曲面细分与高分辨率模版处理；使用FareWarehouse数据库中的三维人脸模型作为模板，从步骤5中得到的三维点云人脸模型与数据库的通用人脸模型进行网格点匹配，使点云人脸模型中的三维网格与通用模板模型的人脸网格分布重合，保证点云人脸模型中的网格顶点按像素坐标排列；分离后的低分辨率模板通过曲面三角细分增加顶点个数，从而转换为高分辨率模板；所述高分辨率模板的转换步骤为：首先，通过步骤2生成的人脸低分辨率模型生成一个人脸模型作为模板V_L，进行面部提取后，得到面部分离模型；步骤2中生成的人脸低分辨率模型与空间点云的匹配通过为顶点位置约束来实现，顶点约束项表示模板模型中的顶点v与匹配到的点云顶点v_{icp_cloud}距离最小，由下式表示：其中v_{icp_cloud}表示与模板顶点v_t建立双向匹配关系的点云顶点；人脸低分辨率模型与点云匹配过程为：对模板中的一个顶点v_t，查找点云中与其距离最近的点v_{icp_cloud}，再反向查找v_{icp_cloud}在模板中对应的最近点，如果v_t与v_{icp_cloud}互为最近点，则建立双向匹配；其次，对步骤2中获得的人脸低分辨率模型进行曲面参数化并做平面展开，采用UV空间投影将人脸低分辨率模型的三维网格映射至二维平面，使高分辨率模版逐渐在约束下向点云逼近，直至与低分辨率人脸模型完全重合，最终得到三维人脸高分辨率模型；步骤7：人头脸模型的补齐；在高分辨率人脸区域模型与低分辨率人头模型的对应边界处建立一条过渡三角网格带，边界区域为步骤6中分割提取出来的高分辨率人脸面部区域，将FaceWarehouse数据库的三维人头脸模型的人脸区域替换为高分辨率人脸面部区域，选取高分辨率人脸区域模型与低分辨率人脸模型各自的边界，其中高分辨率人脸区域的边界为连接区域的高分辨率模型边界区域，低分辨率人脸模型的边界为连接区域的低分辨率人脸模型边界区域，将两条边界顶点经曲面参数化的方法映射至平面，在两条边界之间用三角剖分生产三角网格，高分辨率人脸区域模型与低分辨率人脸模型连接区域网格即用于连接的过渡三角网格带；在拼接处的顶点及其邻接顶点使用拉普拉斯平滑算法处理，具体计算表达式为：其中：表示平滑后的第j个顶点，C_j表示第j个顶点的一环邻域，v_k表示一环邻域中的第k个顶点，N_j表示一环邻域C_j内的顶点个数；重建后的人头模型与图像中的人脸已经在图像空间中对齐重合，通过输入图像的表面纹理将人脸图像映射至模型面，添加纹理图像，得到人头模型添加纹理映射后的图像。