[发明专利]基于端到端多任务多尺度神经网络的实时三维人脸重建方法

说明书

本发明涉及一种基于端到端多任务多尺度神经网络的实时三维人脸重建方法及系统，其方法包括：步骤S1：定义多尺度人脸几何表示模型；步骤S2：构建基于真实人脸图像的训练数据集；步骤S3：构建并训练端到端的多任务多尺度神经网络，输入人脸图像到所述端到端的多任务多尺度神经网络，输出表示人脸区域的人脸二值遮罩图，表示人脸粗尺度几何的深度图，表示人脸细节的深度偏移图。本发明公开了端到端的多任务多尺度神经网络，由骨干网络和子网络组成。骨干网络与子网络采用不同的网络结构，骨干网络提供不同子网络需要的多层级多尺度特征表示，保证了不同子网络使用的特征独立性，最大程度降低了多任务网络带来的时间损耗。

技术领域

本发明涉及计算机虚拟现实技术领域，特别涉及一种基于端到端多任务多尺度神经网络的实时三维人脸重建方法及系统。

背景技术

逼真地重建三维人脸表情模型在计算机游戏、影视制作、社交、医疗等领域有着广泛的应用，传统的三维人脸模型获取和重建多依靠于实验室内繁重和昂贵的硬件设备及可控的光照环境。随着虚拟现实技术和移动智能终端快速走进大众生活，人们越来越多的希望通过低成本设备在日常生活环境下获取高质量的三维人脸表情模型并应用于虚拟环境。利用手机拍摄人脸图像，或者直接利用互联网图像进行三维人脸重建，把获取设备的复杂程度降到了最低，为消费级三维人脸数字化应用带来了新的契机。其中，实时的重建三维人脸模型更是目前虚拟社交、实时游戏等即时类应用的基础，相比于离线重建方法也更加具有挑战性。在可视范围内，人的面部可以从几何尺度划分为不同的层级表示：粗尺度(如鼻子、面颊、嘴唇、眼睑等)，细尺度(如皱纹)。三维人脸重建方法往往在速度和精度上存在矛盾，大多实时的重建方法仅能够恢复粗尺度三维人脸模型，无法重建人脸细节信息。

文献1-C.Cao,D.Bradley,K.Zhou and T.Beeler.Real-time high-fidelityfacial performance capture[J].ACM Trans.Graph.,2015,34(4):1-9.使用先离线学习后在线回归预测几何细节的方法实现了实时高精度的三维人脸表情重建。但是，受限于离线学习时的皱纹细节数据类型，该方法仅适应条纹形状的皱纹预测。

近年来，基于卷积神经网络(CNN，Convolutional neural networks)的强大学习能力，深度学习的方法被用于基于单张图像的三维人脸重建，此类方法从给定的人脸照片数据集训练卷积神经网络，预测三维人脸的几何模型表示参数，从而重建人脸模型。

文献2—E.Richardson,M.Sela and R.Kimmel.3D Face Reconstruction byLearning from Synthetic Data[A].2016Fourth International Conference on 3DVision(3DV)[C].2016,460-469.选择利用3DMM(3D Morphable Models)生成一个足够数量的面部数据集及对应投影得到的2D图像，利用该合成数据进行训练，通过迭代的运算神经网络模型来不断修正重构结果，得到粗尺度面部模型，再通过明暗恢复形状(SFS，ShapeFrom Shading)算法添加几何细节，由于SFS算法耗时较大，无法实现实时的重建。