[发明专利]基于无监督的RGB单图三维人脸重建方法、系统及电子设备

说明书

本发明提供了基于无监督的RGB单图三维人脸重建方法、系统及电子设备，包括：获取单张RGB单图；分析所述RGB单图，生成三维人脸数据信息；获取所述三维人脸数据信息，对所述三维人脸数据信息进行三维重建处理，生成三维人脸结构；根据所述三维人脸结构，生成三维人脸图像。本发明利用用户图和人脸三维重建投影后的图像之间具有诸多一致性这一重要特征，避免了三维人脸重建系统在方法构建过程中需要采用特殊设备对三维人脸图像进行采集并特殊处理的问题，降低了系统构建的成本，具有重要的经济意义，同时该方案避免了数据采集过程中人工介入所带来的误差，提升了三维人脸重建系统构建的误差。

技术领域

本发明属于人脸三维重建技术领域，特别涉及基于无监督的RGB单图三维人脸重建方法、系统及电子设备。

背景技术

随着计算机技术的快速发展，实时人脸三维重建有着非常广泛的应用，已经被大量应用于各行各业，例如三维上妆，表情驱动，人脸识别，医疗美容等等。相比于二维平面，立体图形最大的优势在于它能反映更多的空间信息，这是二维平面所不具备的。因而越来越多的学者意识其可挖掘的应用价值和广泛的应用前景，也因此人脸三维重建技术目前已成为计算机视觉领域最受欢迎的研究方向之一。如今不少团队都在借助形变模型来研究人脸三维重建技术。从Facebook的MSQRD到Apple的Animoji再到美图的宜肤测肤仪，这些知名应用的底层技术都和三维人脸重建有着非常密切的联系。目前主流的三维人脸重建的方法主要分为两种。第一种是通过硬件直接获取人脸的深度信息从而进行三维人脸重建，如结构光、TOF(飞行时间)、双目视觉等；第二种是通过多视图几何通过多个角度的人脸图像进行人脸稠密点的深度估计。这两种方法都存在着先天的局限性，前者需要特殊的硬件支持，后者操作需要从多个角度对人脸信息进行获取，操作麻烦。

使用仪器扫描获取深度图虽然可以获得较高质量的三维人脸模型，但被扫描对象需与扫描仪器进行交互，且扫描期间目标对象需尽可能保持静止；通过扫描设备扫描得到三维人脸模型后，还需对扫描数据进行一系列复杂的处理才能得到较高质量的三维人脸模型。另外该方法依赖于特定的硬件支持，需要深度摄像头，价格高、操作较复杂性，使该方法难以普及。

基于图像的重建方法包括基于统计模型的三维人脸重建、基于多视几何的三维人脸重建、基于光照立体的三维人脸重建以及近年来发展迅速的基于机器学习的三维人脸重建。基于图像的重建方法通常通过多视图的图片估计深度，需要双目摄像头。基于统计模型的三维人脸重建方法依赖于大量的三维人脸数据，这些数据一般是对扫描得到的人脸模型进行PCA(Principal Components Analysis)处理后获得的。另外，该方法重建结果严重依赖于数据库中的人脸模型，数据库中模型空间有限，限制了重建灵活性。传统基于多视几何的方法需获取不同角度的多张正交人脸图像，为计算图像匹配点，首先需足够多的匹配点数量，然后匹配精确度也要求很高。而基于机器学习的方法则需要大量三维人脸数据用以训练，其最终重建结果同样依赖于训练样本数量，与基于统计模型的方法有相同的弊端。当前也存在一些通过单张RGB图片来估计人脸三维信息的方法，但是，发明人在研究过程中发现，一些基于现有的3Dmm模型(示例性的：BFM模型)往往精度比较低，无法满足很多应用需求。另外，存在一些比较精准单图重建三维方法则依赖于比较大的深度学习网络，无法满足手机端实时的需求。

随着人工智能和深度学习的飞速发展，也出现了一些基于单图的RGB图片对人脸三维信息进行估计的方法，但是目前这些方法大都需要用特殊设备采集三维人脸信息来对方法进行监督。

发明内容

针对上述问题，本发明针对目前对人脸进行三维重建的方法中，存在需要3D点或者参数进行监督，对硬件及软件要求较高的问题，提出基于无监督的RGB单图三维人脸重建方法、系统及电子设备，以自监督的方式，达到仅需提供单张RGB图和二维人脸点的信息的条件下就能对人脸进行三维重建的自监督的目的。

第一方面，本发明提供一种基于无监督的RGB单图三维人脸重建方法，具体包括

获取单张RGB单图；