[发明专利]一种基于单幅图像的风格化人脸三维模型自动生成方法

权利要求书

1.一种基于单幅图像的风格化人脸三维模型自动生成方法，包括以下步骤：

(1)人脸数据库预处理：在人像图像数据集上对每张图像提取人脸三维信息，同时对每张图像进行手动风格化人脸三维建模，得到风格化人脸三维模型；

(2)人脸特征提取网络：根据步骤(1)所述人像图像数据集以及对应的人脸三维信息，训练得到一个多任务人脸特征深度卷积网络；

(3)人脸风格转化网络：根据步骤(1)所述人像图像数据集和风格化人脸三维模型，以及步骤(2)训练得到的人脸特征深度卷积网络，训练得到一个人脸几何风格转化深度卷积网络和一系列人脸纹理风格转化深度卷积网络，所述人脸几何风格转化深度卷积网络和人脸纹理风格转化深度卷积网络构成人脸风格转化网络；

(4)输入待处理图像后，运行步骤(2)训练得到的人脸特征提取网络和步骤(3)训练得到的人脸风格转化网络，输出人脸几何结果和纹理结果，对输出的人脸几何结果进行后处理，对输出的纹理结果进行融合，最终得到风格化人脸三维模型；

所述步骤(3)中，所述训练得到一个人脸几何风格转化深度卷积网络具体为：根据输入图像，在所述多任务人脸特征深度卷积网络输出的人脸三维几何信息上计算每个顶点的位置和法向量，这些位置和法向量按照模型的UV展开绘制到一张6通道图像A上；类似地，对所述的输入图像的风格化人脸三维模型，顶点位置和法向量也展开绘制到一张六通道图像B上；人脸几何风格转化网络输入图像A，经过一系列卷积和反卷积相关操作，最小化网络输出图像和B的欧氏距离；

训练所述一系列人脸纹理风格转化深度卷积网络具体为：根据输入图像，结合多任务人脸特征深度卷积网络输出的人脸纹理贴图信息，头发、眉毛、胡须区域掩膜，以及所述风格化人脸三维模型的纹理贴图，分别训练面部非毛发区域纹理风格转化网络，眉毛区域纹理风格转化网络，以及胡须区域纹理风格转化网络。

2.如权利要求1所述的基于单幅图像的风格化人脸三维模型自动生成方法，其特征在于，所述步骤(1)中，所述在人像图像数据集上对每张图像提取人脸三维信息具体为：

首先，对输入的人像图像数据集的图像标注人脸的二维信息，包括人脸关键点，以及头发、眉毛、胡须区域掩膜；其中人脸关键点是指包括脸颊边缘，眼睛、眉毛、鼻子、嘴巴轮廓的特征点位置；掩膜是指二值化像素区域，在区域内部取值为1，区域外部取值为0；

然后，结合人脸关键点信息以及图像颜色信息进行三维拟合算法，得到人脸的三维信息，包括三维几何信息和纹理贴图信息；具体操作过程是：把每个人脸信息表示为一个三角形网格，网格每个顶点包含一个顶点几何坐标和一个UV纹理坐标，每个网格对应一张纹理贴图，对人脸的三维信息进行PCA分解，表达为：

其中，是平均人脸的网格顶点几何坐标，W_s是网格顶点几何坐标的PCA向量矩阵，α是几何参数向量；是平均纹理贴图，W_t是纹理贴图的PCA向量矩阵，β是纹理参数向量；

然后优化如下能量方程：

E_fit(M，α，β)＝λ_lE_l(M，α，β)+λ_aE_a(M，α，β)+λ_rE_r(α，β)

其中，M是相机外参，λ_l，λ_a，λ_r分别是三个能量项E_l，E_a，E_r的权重；E_l(M，α，β)最小化人脸关键点的投影位置和图像标注位置的差异：

P(·)代表相机投影函数，s_j表示s在第j个人脸关键点上的顶点几何坐标，是对应的图像标注位置；E_i(M，α，β)最小化人脸绘制结果和图像像素的颜色差异：

R_u，v(·)是绘制函数，表示把三维网格绘制到图像上后在像素u，v的颜色取值，I_u，v表示输入图像在像素u，v的颜色取值；E_r(α，β)是正则项，惩罚过拟合问题：

E_r(α，β)＝||α||²+||β||²

最后，能量方程E_fit(M，α，β)使用标准的Gauss-Newton方法迭代求解。