[发明专利]基于多任务学习的单视图人脸三维重建及纹理生成的方法

摘要

本发明公开了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法，属于计算机视觉领域。该方法包括：人脸三维模型渲染的特殊视点的选取；特殊视点下生成深度图、纹理图作为真值数据；设计深度信息与纹理信息特征共享的集成学习编码网络；设计由共享特征恢复出深度图的分支解码网络，恢复出深度图；设计由共享特征作为潜变量的互信息最大化生成对抗网络，恢复出纹理展开图；调整各任务损失函数的比例，训练模型；将网络输出的深度图进行插值处理再结合纹理图恢复出带纹理细节的人脸三维网格模型。本发明利用基于多任务学习进行单视图人脸三维重建以及纹理生成与风格迁移，具有速度快、成本低等优势。

主权项

1.基于多任务学习的单视图人脸三维重建及纹理生成的方法，其特征在于，包括如下步骤：S1，基于OpenGL将虚拟相机放置于人脸头部三维模型内部，朝向人脸，在这样的渲染视点下不断调整相机内外参数，选择合适的视场角和焦距，使整个人脸展开在平面上尽可能完整地在窗口中渲染出来；S2，利用S1中得到的相机内外参数，基于CGAL计算上述渲染视点下的人脸三维模型的深度数据，并存为深度图，基于OpenGL加载人脸三维模型文件，在所述渲染视点下进行渲染，得到纹理图像，作为深度学习训练的一组真值；S3，构建深度信息与纹理信息特征共享的集成学习编码网络，将S2获得的真值数据与人脸原图数据作为一组训练数据；收集多个预训练的人脸识别模型作为元模型，第一级网络是将人脸原图数据分别输入各个元模型，将元模型的输出再次作为输入，传送给第二卷积神经级网络，利用集成学习中的集成叠加算法，最终得到人脸的特征图；S4，由S3中的集成学习编码网络得到由原始人脸图片提取到的特征图，作为深度图分支解码网络的输入，由该分支解码网络恢复出单通道的深度图；S5，由S3中的集成学习编码网络得到由原始人脸图片提取到的共享特征，作为互信息最大化对抗网络的输入的一部分，由该对抗网络恢复出高分辨率的彩色通道纹理图；S6，根据深度图分支解码网络与互信息最大化对抗网络的收敛速度的相对关系，给这两个网络的损失函数按比例分配权重，进行网络训练；S7，训练完模型后，输入测试的原始人脸图片，由所述深度图分支解码网络与互信息最大化对抗网络分别得到预测深度图和带真实感的人脸纹理展开图，根据需要的任意三维模型分辨率，对网络输出的深度图进行插值来生成需要的尺寸；根据是否有风格迁移的需要对纹理进行后期处理，最终恢复出人脸三维模型。