[发明专利]基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法

说明书

一种基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法，使用UV位置记录生成三维点云模型，再使用基于CGAN设计的网络补全残缺的人脸，最终获得完整彩色三维人脸模型。通过设计一个编码‑解码网络，从原始RGB图像生成并记录完整的三维人脸信息的二维UV位置图，然后使用一个卷积神经网络从中重塑出三维人脸；然后考虑了人脸大姿态的自遮挡情况，通过设计了一种特殊的条件生成对抗网络补全UV纹理图的缺失。本发明提出的方法能够实现更高的重建精度和更多的纹理细节，特别是在大姿态人脸图像重建应用中，能够获得更加完整和真实的三维人脸模型，并在应对复杂的环境因素时具备更强的鲁棒性。

技术领域

本发明属于计算机视觉领域，尤其是一种基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法

背景技术

生物特征是近来被广泛关注和使用的一种信息特征，相应模型的重构的技术也随之社会需求的变化在不断发展。人脸所含有的丰富的特征信息，使其成为对人身份识别、表情识别、年龄性别判断等的重要载体，所以对于人脸信息的处理一直是计算机视觉领域一个重要研究课题。但是二维图像中所能保留的人脸信息很有限，而且会受拍摄角度、物体遮挡和光照角度等影响。而最近流行的三维重建技术随着机器学习技术的发展也得到了很大提升，所以运用此技术从二维图像中重建出完整的三维人脸模型可以减轻上述问题的影响，并且赋予模型更多的信息。

发明内容

现有三维人脸重建技术能使用单图像得到的三维模型，但是受到图像中人脸角度大导致重建结果误差较大，并且模型缺乏完整的表面纹理导致真实度降低。本发明提供一种基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法，针对单图像中，大姿态人脸自遮挡导致的大量人脸不可见，导致三维人脸重建精度下降和最终结果缺少大量面部彩色纹理。本发明主要使用UV位置记录生成三维点云模型，再使用基于CGAN设计的网络补全残缺的人脸，最终获得完整彩色三维人脸模型。

为了解决上述技术问题本发明采用如下的技术方案：

一种基于UV位置图与CGAN的单图像大姿态三维彩色人脸重建方法，包括以下步骤：

S1：采集数据

利用主动视觉法获取大量人脸的三维模型，同时拍摄下以正面人脸为0°，以5°为步长旋转范围为[-90°,-90°]的照片，分类并按照设定格式命名保存；

S2：生成UV位置图

UV图是从三维表面参数转换而来的二维图像平面，一个三维模型使用的是(X,Y,Z)坐标系统，其结构是一个点云坐标作为顶点的多边形模型，UV坐标系统的工作就是把多边形的顶点与二维图像上的像素对应起来，这样UV坐标就定义了图片上每个点的位置信息，这些点与三维模型是相互联系的，在点与点之间的间隙进行图像光滑插值处理，从而UV纹理图就可以影设到三维模型上，根据这一原理通过构建UV位置图将三维点云数据记录到二维的图像中；

S3：生成UV纹理图

在获得了UV位置图之后再使用双线性采用器，重新采样三维模型的顶点及其相关的UV坐标，将照片中的彩色纹理信息渲染到位置图中就可以获得需要的UV纹理图；但是由于自遮挡的存在，存在大面积的人脸是不可见的，造成了输出的纹理图的残缺，其中残缺部分采用黑色进行填充；

S4：构造编码-解码器网络

在编码器部分输入的256*256*3图像先通过一个核为4的卷积层，然后使用10个残差块获得其8*8*512的特征，此处不直接压缩到一维的特征向量，因为对于三维的人脸模型来说各点之间在空间中相对位置的信息，虽然这样做会导致训练难度的上升，但是保留空间位置的信息会提高重建结果的精确度；在解码器部分采用17个反卷积预测生成256*256*3的UV位置图；

S5：构造损失函数