[发明专利]三维人脸模型重建方法及装置

权利要求书

1.一种三维人脸模型重建方法，其特征在于，包括：

S1、获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；

S2、将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；

S3、根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。

2.根据权利要求1所述的方法，其特征在于，在所述S1之前，还包括：

训练所述粗学习网络，其中，所述粗学习网络的loss函数为：

上式中w_col,w_lan，w_reg，w_flo，w_sam用来调节各项的权重，

E_geo(χ)＝w_pp×E_pp(χ)+w_ps×E_ps(χ)，

χ＝{α_id,α_exp,α_alb,z,pitch,yaw,roll,t,γ}表示参数化三维人脸模型系数，其中，α_id指身份基系数，α_exp指表情基系数,α_alb指反射率基系数，pitch代表围绕X轴旋转的欧拉角,yaw代表围绕Y轴旋转的欧拉角,roll代表围绕Z轴旋转的欧拉角，t＝(t_x,t_y,t_z)指平移向量，t_x、t_y和t_z分别表示X轴、Y轴和Z轴上的平移量，γ＝(γ_r,γ_g,γ_b)，γ_r、γ_g和γ_b分别表示图片在r、g和b通道上的光照系数，

w_pp和w_ps用于调节权重，

F表示由三维模型投影到图片上后确定的人脸区域，p_syn(m)是像素点m对应的三维网格点坐标，p_real(m′)是点云上距离p_syn(m)最近一个点的三维坐标，m′表示该点在深度图上的位置，是深度图上m′处的单位法向量，

I_syn(m)表示像素点m处的合成纹理，I_real(m)表示彩色图上像素点m处的实际纹理，

L表示所有当前可见关键点编号的集合，q_i表示彩色图上检测到的第i个关键点的图像坐标，p_i表示重建模型上对应q_i的三维关键点的三维坐标，R为旋转矩阵，∏表示透视投影，

α_id,j和σ_id,j分别为第j个身份基的系数、第j个身份基的特征值，J为身份基的个数，α_alb,k和σ_alb,k分别为第k个反射率基的系数、第k个反射率基的特征值，K为反射率基的个数，α_exp,m和σ_exp,m分别为第j个表情基的系数、第j个表情基的特征值，M为表情基的个数，

p表示了像素点m对应三维点在三维模型上的相对位置信息，Proj_n(p)是根据第n帧参数化模型系数χ_n里的(α_id,α_exp,z)计算出三维模型形状后，再根据第n帧参数化模型系数χ_n里的姿态信息(pitch,yaw,roll,t)投影后计算出来的在图像平面里的位置，f(m)是像素点m从第n-1帧图片上的位置移动到第n帧图片上的位置的光流。

这里χ_n1,χ_n2分别表示同一个人第n1帧照片、第n2帧照片对应的参数化模型系数，

α_id,n1,α_id,n2分别表示同一个人第n1帧照片、第n2帧照片对应的身份基系数，α_alb,n1,α_alb,n2分别表示同一个人第n1帧照片、第n2帧照片对应的反射率基系数。