[发明专利]基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法

权利要求书

1.一种基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法，其特征在于，所述方法包括以下步骤：

S1：采集数据

利用主动视觉法获取大量人脸的三维模型，同时拍摄下以正面人脸为0°，以5°为步长旋转范围为[-90°，-90°]的照片，分类并按照设定格式命名保存；

S2：生成UV位置图

三维模型使用的是(X，Y，Z)坐标系统，其结构是一个点云坐标作为顶点的多边形模型，UV坐标系统的工作就是把多边形的顶点与二维图像上的像素对应起来，UV坐标就定义了图片上每个点的位置信息，这些点与三维模型是相互联系的，在点与点之间的间隙进行图像光滑插值处理，从而UV纹理图就可以影设到三维模型上，通过构建UV位置图将三维点云数据记录到二维的图像中；

S3：生成UV纹理图

在获得了UV位置图之后再使用双线性采用器，重新采样三维模型的顶点及其相关的UV坐标，将照片中的彩色纹理信息渲染到位置图中获得需要的UV纹理图；对于输出纹理图的残缺部分采用黑色进行填充；

S4：构造编码-解码器网络

在编码器部分输入的256*256*3图像先通过一个核为4的卷积层，然后使用10个残差块获得其8*8*512的特征，在解码器部分采用17个反卷积预测生成256*256*3的UV位置图；

S5：构造损失函数

使用一个面罩突显出重要部位，通过对不同部位设置不同的灰度值再进行归一化后改变权重；

其中，(u，v)表示UV坐标系下点，P(u，v)表示真实目标图中点的位置，表示网络生成的点位置，W(u,v)表示对应点赋予的权重。

S6：训练编码-解码器网络

将UV位置图作为目标值，各个角度的人脸照片作为输入到编码-解码器网络进行训练使用Adam优化器，最终得到的网络输出为UV位置图；接着使用一个结构简单的卷积神经网络从UV位置图中重建出人脸的三维形状；

S7：构造条件生成对抗网络

生成器G和判别器D不断进行博弈，G作为生成网器，输入为一个随机噪声x，通过这个随机噪声生成图像；D作为判别器需要判断图片是否为真实的，其输入为图片，在训练过程中G需要尽量生成真实的图片去欺骗D，而D要辨别出G生成的图片的真假，构成了一个博弈的过程，最终达到纳什均衡点；

其中，x为输入噪声其范围为概率分布p_z(x)，y为真实的图片其范围为真实数据p_data(y)，G表示生成器，D表示生成器；

S8：构造对抗损失函数

设置多个损失函数取加权和，分别为像素层面损失函数L₁、人脸特征层面损失函数L_f、对称损失函数L_sym和对抗损失函数L_d；

S9：训练条件对抗生成网络

以扫描得到的完整UV纹理图作为生成目标，使用残缺的UV纹理图代替噪声输入网络进行训练，使用Adam优化器，学习率设置为0.0002，得到的模型将UV纹理图中残缺部分补全；

S10：将生成的三维人脸形状模型与UV纹理图拟合，得到最终的完整彩色的三维人脸模型。

2.如权利要求1所述的基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法，其特征在于，所述步骤S6中，学习率设置为0.0002，批量设置为16。

3.如权利要求1或2所述的基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法，其特征在于，所述步骤S7中，在搭建的GAN中用残缺的UV纹理图代替噪声输入生成器，其中生成器部分采用编码器解码器结构，编码器部分为8个卷积层，解码器部分为8个反卷积层，它们的卷积核都为4，步长为2；判别器部分采用4层的卷积层，将输入图片与标签相连获取它们的特征；生成器中使用ReLU作为激活函数，鉴别器中使用LeakyReLU作为激活函数。

4.如权利要求1或2所述的基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法，其特征在于，所述步骤S8中，像素层面的损失函数L1采用均方误差，使在像素级别上生成图像与目标图片接近，并添加面罩P提高眼睛鼻子嘴巴部位的权重，作为提高性能的关键部分会给予高于其他损失函数的权重；

其中，W和H分别为图像的宽与高，j表示宽度上的像素点位置，k表长度上的像素点位置，x和y分别为输入图片与真实图片；

引入deepface模块此处用F表示，获取生成图与标签中人脸的特征并进行对比，从全局角度对人脸轮廓，眼鼻口位置进行确定并保持数据每个人的不同特征，使输出结果不会是一个平均相似的UV纹理图；

其中，N表示获取的特征数量，F表示图片输入deepface模块获得的结果，x和y分布表示输入图片与真实图片。

由于人脸具有对称的特性，所以采用对称损失函数，利用可见部分的先验知识，能有效的解决大姿态导致的自遮挡问题，补全单图像中无法看到的部分；

其中，W和H分别为图像的宽与高，j表示宽度上的像素点位置，k表长度上的像素点位置，x和y分别为输入图片与真实图片。

使用对抗损失函数计算，从标签中判别生成的人脸图像的损失值，这有利于提高生成图像的真实感，降低模糊程度；

其中，G表示生成器，D表示判别器，W和H分别为图像的宽与高，j表示宽度上的像素点位置，k表长度上的像素点位置，x为输入图片；

最终的生成损失函数取上面的各损失函数的加权和：

L_g＝λ₁L₁+λ_fL_f+λ_symL_sym+λ_dL_d (7)

其中，L₁为像素层面损失函数，λ₁为像素层面损失函数权重，L_f为人脸特征层面损失函数，λ_f为人脸特征层面损失函数权重，L_sym为对称损失函数，λ_sym为对称损失函数权重，L_d为对抗损失函数，λ_d为对抗损失函数权重。