[发明专利]一种基于人脸的二维重建方法、系统、设备及存储介质

权利要求书

1.一种基于人脸的二维重建方法，其特征在于，所述方法包括：

获取无遮挡人脸图像和被遮挡人脸图像；

将所述被遮挡人脸图像输入预先训练的关键点识别模型，以获取所述被遮挡人脸图像中的关键点；

将所述被遮挡人脸图像及其关键点输入图像生成器网络，得到基于所述被遮挡人脸图像生成的去除遮挡的重建人脸图像；所述图像生成器网络是基于图像判别器网络对所述无遮挡人脸图像及其关键点、所述被遮挡人脸图像及其关键点进行训练得到的。

2.如权利要求1所述的一种基于人脸的二维重建方法，其特征在于，所述图像生成器网络的训练过程包括如下步骤：

将所述图像生成器网络生成的去除遮挡的重建人脸图像的关键点与对应的被遮挡图像及其关键点的一致性作为约束项，计算所述被遮挡图像的关键点与所述去除遮挡的重建人脸图像的关键点的关键点损失函数；

将去除遮挡的重建人脸图像和无遮挡人脸图像成对输入所述图像判别器网络，所述图像判别器网络输出所述去除遮挡的重建人脸图像是否为去除遮挡的重建人脸图像的判别结果，并将判别结果反馈到所述图像生成器网络；

所述图像判别器网络根据三类数据进行训练，以更新所述图像生成器网络的权重，直到所述权重满足预设值；所述三类数据包括无遮挡人脸图像和所述无遮挡人脸图像对应的关键点、生成的去除遮挡的重建人脸图像和生成的人脸图像对应遮挡下的关键点、无遮挡人脸图像和与所述无遮挡人脸图像不匹配的关键点。

3.如权利要求1所述的一种基于人脸的二维重建方法，其特征在于，所述将所述被遮挡人脸图像及其关键点输入图像生成器网络，得到基于所述被遮挡人脸图像生成的去除遮挡的重建人脸图像，包括：

将被遮挡人脸RGBA彩色图像及其关键点输入下采样模块，以降低分辨率和增加特征维度；再经过残差网络模块，以提取高纬的特征信息；再通过特征图编码分类器提取注意力权重，以使得特征值注意力模块将学习到的根据输入图像变化的注意力权重加在另一残差网络模块上，再通过上采样模块还原输入图像的尺寸。

4.如权利要求3所述的一种基于人脸的二维重建方法，其特征在于，所述特征值注意力模块用于区分基于辅助分类器获得的图像是否是被遮挡部分的源域和目标域，以确定密集转换的区域。

5.一种基于人脸的二维重建系统，其特征在于，所述系统包括：

图像获取模块，用于获取无遮挡人脸图像和被遮挡人脸图像；

关键点确定模块，用于将所述被遮挡人脸图像输入预先训练的关键点识别模型，以获取所述被遮挡人脸图像中的关键点；

人脸重建模块，用于将所述被遮挡人脸图像及其关键点输入图像生成器网络，得到基于所述被遮挡人脸图像生成的去除遮挡的重建人脸图像；所述图像生成器网络是基于图像判别器网络对所述无遮挡人脸图像及其关键点、所述被遮挡人脸图像及其关键点进行训练得到的。

6.如权利要求5所述的一种基于人脸的二维重建系统，其特征在于，所述图像生成器网络的训练过程包括如下步骤：

将所述图像生成器网络生成的去除遮挡的重建人脸图像的关键点与对应的被遮挡图像及其关键点的一致性作为约束项，计算所述被遮挡图像的关键点与所述去除遮挡的重建人脸图像的关键点的关键点损失函数；

将去除遮挡的重建人脸图像和无遮挡人脸图像成对输入所述图像判别器网络，所述图像判别器网络输出所述去除遮挡的重建人脸图像是否为去除遮挡的重建人脸图像的判别结果，并将判别结果反馈到所述图像生成器网络；

所述图像判别器网络根据三类数据进行训练，以更新所述图像生成器网络的权重，直到所述权重满足预设值；所述三类数据包括无遮挡人脸图像和所述无遮挡人脸图像对应的关键点、生成的去除遮挡的重建人脸图像和生成的人脸图像对应遮挡下的关键点、无遮挡人脸图像和与所述无遮挡人脸图像不匹配的关键点。