[发明专利]基于多任务学习的单视图人脸三维重建及纹理生成的方法

说明书

本发明公开了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法，属于计算机视觉领域。该方法包括：人脸三维模型渲染的特殊视点的选取；特殊视点下生成深度图、纹理图作为真值数据；设计深度信息与纹理信息特征共享的集成学习编码网络；设计由共享特征恢复出深度图的分支解码网络，恢复出深度图；设计由共享特征作为潜变量的互信息最大化生成对抗网络，恢复出纹理展开图；调整各任务损失函数的比例，训练模型；将网络输出的深度图进行插值处理再结合纹理图恢复出带纹理细节的人脸三维网格模型。本发明利用基于多任务学习进行单视图人脸三维重建以及纹理生成与风格迁移，具有速度快、成本低等优势。

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于多任务学习的单视图人脸三维重建及纹理生成的方法。

背景技术

三维人脸模型在安全认证、影视动漫、医学科学等领域的应用非常广泛。然而同时获取精准人脸三维结构与完整高分辨率的纹理图的成本非常昂贵，且得到的纹理图也不方便后期处理，或者是存在三维结构与高分辨率纹理图不能同时获取等等各种难题。

对于使用传统方法的单视图人脸三维重建及纹理生成，通常有两种技术：(1)采用阴影恢复形状(Shape-from-Shading，SFS)方法或光度立体(Photometric stereo)方法根据单个视图的彩色图像重建三维模型。由不同光照下的相同视角人脸图像信息计算出由表面法向量，再恢复出三维表面信息。该方法依赖于光照条件和光照模型的先验知识，而且它更适合重建人脸表面细节，对人头部整体的三维重建精度不高；(2)Feng Liu、Dan Zeng和Qijun Zhao(Liu F,Zeng D,Zhao Q,et al.Joint face alignment and 3d facereconstruction[C]//European Conference on Computer Vision.Springer,Cham,2016:545-560)提出了在回归框架下的人脸对齐和三维重建，该方法在给定输入二维人脸图像上的特征点的条件下，实时重建其三维模型的方法。利用两组级联的线性回归，一组用来更新2D特征点，另一组用来更新3D人脸形状。在每一次迭代中，先用SDM(SupervisedDescentMethod)方法得到特征点更新量，再用特征点的更新量去估计出3D人脸形状的更新量。新的3D人脸一旦更新就可以粗略地计算出3D-to-2D投影矩阵，同时再利用3D人脸对特征点进行修正，最终得到经过不断修正后的人脸三维模型。这些传统方法对于模型的纹理处理通常都是顶点着色，而不是用高分辨、表征纹理细节的纹理图进行纹理映射的得到的彩色模型。对于单张图像，需要是正脸图像，侧脸效果很差，纹理不全。