[发明专利]基于RGB单图实时人脸三维图像重建方法、装置及电子设备

说明书

本申请实施例中提供了一种基于RGB单图实时人脸三维图像重建方法、装置及电子设备，所述方法包括接收单张RGB单图；将RGB单图输入至由人脸图像2D数据与人脸3D数据作为训练集且采用不同的损失监督方式训练得到人脸三维重建网络；将人脸三维重建网络中解码得到的UV形状图与UV纹理图组合得到重建后的人脸，通过模型变换矩阵渲染得到人脸三维图像。述方法还包括：对人脸三维重建网络的输出进行降维系数化，通过小模型学习人脸三维重建网络模型的拟合系数，得到实时人脸三维重建模型，在手机端实现实时高精度的人脸三维的重建。通过本申请的处理方案，提高了三维稠密人脸点的实时预测精度，提高了基于RGB单图实时人脸三维图像重建效果与速度。

技术领域

本申请涉及人脸三维重建技术领域，尤其涉及一种基于RGB单图实时人脸三维图像重建方法、装置及电子设备。

背景技术

随着计算机技术的快速发展,实时人脸三维重建有着非常广泛的应用,已经被大量应用于各行各业，例如三维上妆，表情驱动，人脸识别，医疗美容等等。在人脸三维重建技术领域，如何重建出精度高且具有真实感的人脸三维模型,这一极具挑战性的难题一直困扰着广大的科研学者。相比于二维平面,立体图形最大的优势在于它能反映更多的空间信息,这是二维平面所不具备的。因而越来越多的学者意识其可挖掘的应用价值和广泛的应用前景,也因此人脸三维重建技术目前已成为计算机视觉领域最受欢迎的研究方向之一。如今不少学者都在借助形变模型来研究人脸三维重建技术。目前三维人脸重建方法可大致分为基于硬件仪器扫描的方法和基于图像的重建方法。

使用仪器扫描获取深度图虽然可以获得较高质量的三维人脸模型，但被扫描对象需与扫描仪器进行交互，且扫描期间目标对象需尽可能保持静止；通过扫描设备扫描得到三维人脸模型后，还需对扫描数据进行一系列复杂的处理才能得到较高质量的三维人脸模型。另外该方法依赖于特定的硬件支持，需要深度摄像头，价格高、操作较复杂性，使该方法难以普及。

基于图像的重建方法包括基于统计模型的三维人脸重建、基于多视几何的三维人脸重建、基于光照立体的三维人脸重建以及近年来发展迅速的基于机器学习的三维人脸重建。基于图像的重建方法通常通过多视图的图片估计深度，需要双目摄像头。基于统计模型的三维人脸重建方法依赖于大量的三维人脸数据，这些数据一般是对扫描得到的人脸模型进行PCA(Principal Components Analysis)处理后获得的。另外，该方法重建结果严重依赖于数据库中的人脸模型，数据库中模型空间有限，限制了重建灵活性。传统基于多视几何的方法需获取不同角度的多张正交人脸图像，为计算图像匹配点，首先需足够多的匹配点数量，然后匹配精确度也要求很高。而基于机器学习的方法则需要大量三维人脸数据用以训练，其最终重建结果同样依赖于训练样本数量，与基于统计模型的方法有相同的弊端。当前也存在一些通过单张rgb图片来估计人脸三维信息的方法，但是，发明人在研究过程中发现，一些基于现有的3Dmm模型(bfm)往往精度比较低，无法满足很多应用需求。另外，存在一些比较精准单图重建三维方法则依赖于比较大的深度学习网络，无法满足手机端实时的需求。

发明内容

有鉴于此，本申请实施例提供一种基于RGB单图实时人脸三维图像重建方法、装置及电子设备，至少部分解决现有技术中存在的问题，能够在手机端实现实时高精度的人脸三维的重建。

第一方面，本申请实施例提供了一种基于RGB单图实时人脸三维图像重建方法，所述方法包括：

接收单张RGB单图；

将RGB单图输入至由人脸图像2D数据与人脸3D数据作为训练集且采用不同的损失监督方式训练得到人脸三维重建网络；

将人脸三维重建网络中解码得到的UV形状图与UV纹理图组合得到重建后的人脸，通过模型变换矩阵渲染得到人脸三维图像。

根据本申请实施例的一种具体实现方式，所述人脸图像2D数据中标注稀疏的2D人脸点，所述稀疏的2D人脸点包括五官及轮廓点。