[发明专利]三维人脸重建的方法、装置、系统及计算机存储介质

说明书

本发明实施例提供了一种三维人脸重建的方法、装置、系统及计算机存储介质。该方法包括：将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，第一向量表示人脸的M个形状点的三维坐标，第二向量表示所述人脸的三维姿态；利用第二向量对标准三维人脸模型进行调整，使得调整后的标准三维人脸模型的三维姿态与所述人脸的三维姿态一致；基于所述M个形状点，对调整后的标准三维人脸模型进行变形，得到所述人脸对应的三维人脸模型。本发明实施例在考虑待处理人脸图像中人脸的三维姿态的基础上得到待处理人脸图像中人脸的三维人脸模型，该过程可以准确地描述该待处理人脸图像中的人脸信息，从而该三维人脸重建的结果更加贴近真实人脸。

技术领域

本发明涉及图像处理领域，更具体地涉及一种三维人脸重建的方法、装置、系统及计算机存储介质。

背景技术

人脸三维重建是人脸相关技术中的一项核心技术。随着深度摄像头的普及，以及移动终端处理能力的提升，手机端三维人脸重建逐渐成为可能。诸多人脸娱乐、美化、变形等方面的手机应用程序(APP)均开始使用三维重建方法。

人脸三维重建技术指从一张人脸图像恢复出其对应的三维人脸。该三维人脸的通常表示为几千个稠密的三维点组成的网格面片。由于缺乏相关的深度信息，单张图像恢复三维人脸是一个病态的问题，因此一般需借助于额外的信息进行三维人脸重建。一类方法从采集好的三维人脸数据库构建一个三维人脸可变性模型，继而分别定位出人脸二维形状点和可变性模型上的对应三维点，通过计算形状点到对应三维点的变形系数，来变形整个三维模型，以此作为三维人脸点云的近似。另一类方法则需要多张人脸图像来估计人脸深度值，继而通过后处理操作得到人脸三维点。然而，由于人脸的变形是非刚体变形，不同的人脸图像存在各种差异，直接拟合的人脸系数或估算的人脸深度信息很难准确，并且多次迭代对应的优化问题耗时长，很难做到实时。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种三维人脸重建的方法、装置、系统及计算机存储介质，能够考虑人脸的三维姿态，且在标准三维人脸模型的基础上进行调整和变形，不仅得到的人脸深度信息准确，并且该过程耗时短，能够实时进行。

根据本发明的一方面，提供了一种三维人脸重建的方法，所述方法包括：

将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，其中，所述第一向量表示所述待处理人脸图像中人脸的M个形状点的三维坐标，所述第二向量表示所述待处理人脸图像中人脸的三维姿态，M为正整数；

利用所述第二向量对标准三维人脸模型进行调整，使得所述标准三维人脸模型的三维姿态与所述待处理人脸图像中的人脸的三维姿态一致；

基于所述第一向量表示的M个形状点，对所述调整后的标准三维人脸模型进行变形，得到所述待处理人脸图像中所述人脸所对应的三维人脸模型。

在本发明的一个实施例中，所述估计网络包括形状点估计网络和姿态估计网络，所述将待处理人脸图像输入至训练好的估计网络，得到第一向量和第二向量，包括：

将待处理人脸图像输入至训练好的所述形状点估计网络，得到所述第一向量；

将所述待处理图像输入至训练好的所述姿态估计网络，得到所述第二向量。

在本发明的一个实施例中，所述形状点估计网络通过如下方式训练得到：

构建三维人脸数据库，所述三维人脸数据库中的每张人脸图像包括M个形状点三维坐标；

利用所述三维人脸数据库对所述形状点估计网络进行训练。

在本发明的一个实施例中，所述姿态估计网络通过如下方式训练得到：

构建三维人脸数据库，所述三维人脸数据库中的每张人脸图像包括表示所述人脸图像中人脸的三维姿态的三维向量；