[发明专利]一种基于侧脸照片进行人脸三维重建的方法

权利要求书

1.一种基于侧脸照片进行人脸三维重建的方法，包括：

S1：使用人脸形状恢复网络，基于二维侧脸图生成三维人脸形状；

S2：使用正脸生成网络，基于二维侧脸图生成二维正脸图；

S3：使用纹理生成网络，基于二维正脸图生成二维人脸纹理；

S4：通过二维坐标UV投影法把S3中得到的二维人脸纹理贴到S1中得到的三维人脸形状上，得到三维人脸模型。

2.根据权利要求1所述的方法，其中，所述人脸形状恢复网络为卷积神经网络，该卷积神经网络共分为三个分支网络流，其中：

第一个分支网络流的输入为三维人脸基本参数O^c和皮肤注意力图，该皮肤注意力图为二值图像，人脸区域的灰度值为1，非人脸区域的灰度值为0，三维人脸形状基本参数O^c＝[f，R，t_2d，α_id，α_exp]^T，其中，O^c表示三维人脸形状基本参数，f表示缩放比例系数，R表示旋转矩阵，t_2d表示平移矩阵，α_id表示人脸身份参数，α_exp表示人脸表情参数，[ ]^T表示转置矩阵；

第二个分支网络的输入为三维人脸基本参数O^c和人脸锚点图；

第三个分支网络的输入为三维人脸形状基本参数O^c和投影归一坐标编码PNCC。

3.根据权利要求2所述的方法，其中，所述人脸形状恢复网络在训练过程中涉及的损失函数包括：

距离值损失函数，其中，距离值损失函数用于衡量真实三维人脸形状基本参数和三个分支网络汇总输出的参数更新值之间的差异值，距离值损失函数利用以下公式表示：

E_ite＝||ΔO-(O^g-O⁰)||²，

其中，E_ite表示距离值损失函数，ΔO表示参数更新值，O^g表示用于深度学习的训练数据集中的真值，O⁰表示初始值，随机选取O⁰的取值，|| ||²表示范数的平方；

顶点距离损失函数：

E_ver＝||V_2d(O⁰+ΔO)-(O^g)||²，

其中，E_ver表示顶点距离损失函数，V_2d表示投影函数，所述投影函数将三维人脸模型转换到二维人脸图，O⁰表示初始值，随机选取O⁰的取值，ΔO表示参数更新值，O^g表示用于深度学习的训练数据集中的真值，|| ||²表示范数的平方；

加权参数迭代距离损失函数：

E_wei＝(ΔO-(O^g-O⁰))^T×diag(w)×(ΔO-(O^g-O⁰))，

其中，E_wei表示加权参数迭代距离损失函数，ΔO表示参数更新值，O^g表示用于深度学习的训练数据集中的真值，O⁰表示初始值，随机选取O⁰的取值，()^T表示转置，diag()表示对角矩阵，w表示参数权重向量，其中：

其中，w表示参数权重向量，w₁表示第1项参数的权重向量，w₂表示第2项参数的权重向量，i表示序号，w_i表示第i项参数的权重向量，p表示参数的数量，w_p表示第p项参数的权重向量，V_2d为投影函数，O^de为迭代参数，O^de，i表示第i个迭代参数，所述第i个迭代参数来自于被预测参数(O⁰+ΔO)，而其它参数均为用于深度学习的训练数据集中的真值O^g，O⁰表示初始值，随机选取O⁰的取值，ΔO表示参数更新值，O^g表示用于深度学习的训练数据集中的真值，||V_2d(O^de，i)-V_2d(O^g)||表示由于对第i个模型参数的错误预测而造成的对齐误差，所述对齐误差体现所述第i个模型参数的重要程度，R表示常数且为w在相关维度上的最大值，表示来自深度学习的训练数据集的第1项对应的真值，表示来自深度学习的训练数据集的第i-1项对应的真值表示来自深度学习的训练数据集的第i+1项对应的真值，k表示参数数量，表示来自深度学习的训练数据集的第k项对应的真值；

总体损失函数使用以下加权和表示：

E_shape＝0.85E_ite+1.2E_ver+1.7E_wei，

其中，E_shape表示总体损失函数，E_ite表示距离值损失函数，E_ver表示顶点距离损失函数，E_wei表示加权参数迭代距离损失函数。

4.根据权利要求3所述的方法，其中，所述正脸生成网络为对抗生成网络，所述纹理生成网络为残差网络，所述纹理生成网络在训练过程中使用的损失函数包括：

特征损失函数：

其中，ξ_lmk表示特征损失函数，N表示用于计算损失的总层数，n表示序号，表示图像特征点数据集中的数据，表示使用特征点检测网络检测到的人脸图像特征点，|| ||₂表示2范数，表示2范数的平方；

像素级精度损失函数：

其中，ξ_pix表示像素级精度损失函数，x表示像素的序列值，M表示通过连接特征点得到的重投影人脸区域，P_x表示注意力系数，P_x根据下式得到：

其中，M_a表示人脸区域，I_fron为输入的正面人脸图像，表示输入的正面人脸图像的第x个像素值，I_y表示输出的渲染人脸图像，表示输出的渲染人脸图像的第x个像素值；

正则化损失函数：

其中，ξ_reg表示正则化损失函数，w_α表示系数，w_β表示系数，w_a＝1.0，w_β＝1.75e-3，e表示自然对数的底数，表示人脸三维模型协方差矩阵的特征值，表示人脸三维模型协方差矩阵的特征值，|| ||²表示范数的平方；

面部特征级损失函数：

其中，ξ_ff表示面部特征级损失函数，，表示内积，G( )表示根据人脸识别算法FaceNet得到的特征抽取函数，I_fron表示输入的正面人脸图像，I_y表示输出的渲染人脸图像，|| ||表示范数；

综合损失函数使用以下加权和函数表示：

ξ_3D＝λ₃ξ_lmk+λ₄ξ_pix+λ₅ξ_reg+λ₆ξ_ff，

其中，ξ_3D表示综合损失函数，λ₃表示系数，λ₄表示系数，λ₅表示系数，λ₆表示系数，λ₃＝1.6e-3，λ₄＝1.4，λ₅＝3.7e-4，λ₆＝0.5，e表示自然对数的底数，ξ_lmk表示特征损失函数，ξ_pix表示像素级精度损失函数，ξ_reg表示正则化损失函数，ξ_ff表示面部特征级损失函数。