[发明专利]基于无监督的RGB单图三维人脸重建方法、系统及电子设备

权利要求书

1.基于无监督的RGB单图三维人脸重建方法，其特征在于：所述方法包括：

获取单张RGB单图；

分析所述RGB单图，生成三维人脸数据信息；

获取所述三维人脸数据信息，对所述三维人脸数据信息进行三维重建处理，生成三维人脸结构；

根据所述三维人脸结构，生成三维人脸图像。

2.根据权利要求1所述的基于无监督的RGB单图三维人脸重建方法，其特征在于：所述三维人脸重建方法还包括：

对所述三维人脸图像计算损失函数，以梯度回传的方式对卷积神经网络参数进行更新。

3.根据权利要求2所述的基于无监督的RGB单图三维人脸重建方法，其特征在于：所述分析所述RGB单图，生成三维人脸数据信息包括：

将所述RGB单图输入至预先定义完成的卷积神经网络；

卷积神经网络输出人脸三维信息；

其中，所述三维人脸数据信息包括：人脸的形状系数、表情系数、位置系数。

4.根据权利要求3所述的基于无监督的RGB单图三维人脸重建方法，其特征在于：所述对所述三维人脸数据信息进行三维重建处理包括：

通过

对人脸进行三维重建；

其中，

S表示重建出的三维人脸模型；

表示人脸三维模型的平均形状；

α_id表示人脸的形状系数；

A_id表示由人脸模型进行PCA主成成分分析得到的特征向量；

α_exp表示人脸的表情系数；

A_exp表示各种表情去掉均值后平均后得到的表情基。

5.根据权利要求4所述的基于无监督的RGB单图三维人脸重建方法，其特征在于：所述对所述三维人脸数据信息进行三维重建处理还包括：

通过

重建得到人脸在输入的单张RGB图像中的位置；

其中，

表示(1)式中得到的人脸三维模型；

T_3d表示(1)式中得到的位置系数的旋转；

R表示(1)式中得到的位置系数的平移；

Pr表示透视投影矩阵。

6.根据权利要求5所述的基于无监督的RGB单图三维人脸重建方法，其特征在于：所述对所述三维人脸数据信息进行三维重建处理还包括：

通过

G(x,y)＝f(h(x,y)) (3)

对投影坐标在图像中的位置进行采样，得到人脸的纹理信息；

其中：

G(x,y)表示采集到的纹理信息；

f表示原图像；

h(x,y)表示重建出的三维人脸点在图像中的二维坐标。

7.根据权利要求1-6中任一项所述的基于无监督的RGB单图三维人脸重建方法，其特征在于：所述对根据所述三维人脸信息数据，生成三维人脸图像还包括：

通过

I′＝I·M+R·(1-M) (4)

获得三维人脸图像；

其中：

I′表示人脸渲染后贴图到原图中的图像，

I表示用户输入图，

M表示渲染时候得到的Mask二值图，

R表示重建出的人脸图像。

8.根据权利要求2所述的基于无监督的RGB单图三维人脸重建方法，其特征在于：所述对所述三维人脸图像计算损失函数，以梯度回传的方式对卷积神经网络参数进行更新还包括：

计算图像的一致性损失；

计算人脸点损失；

计算生成的图像的人脸识别特征和用户输入图像的人脸识别特征之间的余弦距离；

利用分类网络对输入的图像和生成的图像进行区分，计算损失；

计算人脸对齐点所有的边缘点的距离损失；

通过损失函数对预设完成的网络采用梯度下降法进行训练，对卷积神经网络参数进行更新。