[发明专利]基于RGB单图实时人脸三维图像重建方法、装置及电子设备

权利要求书

1.一种基于RGB单图实时人脸三维图像重建方法，其特征在于，所述方法包括：

接收单张RGB单图；

将RGB单图输入至由人脸图像2D数据与人脸3D数据作为训练集且采用不同的损失监督方式训练得到人脸三维重建网络；

将人脸三维重建网络中解码得到的UV形状图与UV纹理图组合得到重建后的人脸，通过模型变换矩阵渲染得到人脸三维图像。

2.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法，其特征在于，所述人脸图像2D数据中标注稀疏的2D人脸点，所述稀疏的2D人脸点包括五官及轮廓点。

3.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法，其特征在于，所述人脸3D数据为实验环境采集到的人脸三维数据，具有真实的3D点标签，包括：

通过三维采集设备采集的人脸三维数据；

对采集的人脸三维数据进行标准化注册；

添加多种表情、角度和光照变化，模拟真实环境下的人脸情况；

通过渲染得到对应的人脸3D数据。

4.根据权利要求3所述的基于RGB单图实时人脸三维图像重建方法，其特征在于，所述人脸3D数据在训练时，根据所述3D点标签，直接监督生成对应的UV形状图、UV纹理图和模型变换矩阵参数。

5.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法，其特征在于，所述人脸图像2D数据通过约束条件直接回归UV形状图、UV纹理图和模型变换矩阵参数；

所述约束条件包括第一约束条件和第二约束条件，所述第一约束条件为重建人脸投影之后的稀疏人脸点与原图的稀疏人脸点一致，所述第二约束条件为通过重建后的人脸的特征要与输入图的人脸特征一致。

6.根据权利要求5所述的基于RGB单图实时人脸三维图像重建方法，其特征在于，所述人脸图像2D数据通过约束条件直接回归的UV形状图、UV纹理图通过GAN网络后判别其是否是真实的形状和纹理用于约束生成的质量。

7.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法，其特征在于，所述将人脸三维重建网络中解码得到的UV形状图与UV纹理图组合得到重建后的人脸，通过模型变换矩阵渲染得到人脸三维图像，包括：

采用U型网络将输入图像进行编码；

编码输出三个分支分别进行解码，第一个分支解码得到UV形状图，第二个分支解码得到UV纹理图，第三个分支解码得到模型变换矩阵参数；

将所述UV形状图与所述UV纹理图组合得到重建后的人脸，根据所述模型变换矩阵参数通过模型变换矩阵渲染得到人脸三维图像。

8.根据权利要求1所述的基于RGB单图实时人脸三维图像重建方法，其特征在于，所述方法还包括：对人脸三维重建网络的输出进行降维系数化，通过小模型学习人脸三维重建网络模型的拟合系数，得到实时人脸三维重建模型。

9.根据权利要求8所述的基于RGB单图实时人脸三维图像重建方法，其特征在于，所述对人脸三维重建网络的输出进行降维系数化，包括：

将所述UV形状图与所述UV纹理图分别进行pca分解；选择主成份维度分别是60维，100维，进行降维系数化，同时得到形状基和纹理基。

10.一种基于RGB单图实时人脸三维图像重建装置，其特征在于，包括：

图像获取装置，所述图像获取装置接收单张RGB单图；

人脸三维图像重建装置，所述人脸三维图像重建装置将RGB单图输入至由人脸图像2D数据与人脸3D数据作为训练集且采用不同的损失监督方式训练得到人脸三维重建网络；将人脸三维重建网络中解码得到的UV形状图与UV纹理图组合得到重建后的人脸，通过模型变换矩阵渲染得到人脸三维图像。