[发明专利]一种基于人脸的二维重建方法、系统、设备及存储介质

说明书

本申请实施例公开了一种基于人脸的二维重建方法、系统、设备及存储介质，所述方法包括：获取无遮挡人脸图像和被遮挡人脸图像；将所述被遮挡人脸图像输入预先训练的关键点识别模型，以获取所述被遮挡人脸图像中的关键点；进一步，将所述被遮挡人脸图像及其关键点输入图像生成器网络，得到基于所述被遮挡人脸图像生成的去除遮挡的重建人脸图像；所述图像生成器网络是基于图像判别器网络对所述无遮挡人脸图像及其关键点、所述被遮挡人脸图像及其关键点进行训练得到的。准确又便捷的还原了被遮挡的人脸图像。

技术领域

本申请实施例涉及人工智能技术领域，具体涉及一种基于人脸的二维重建方法、系统、设备及存储介质。

背景技术

近年来，虚拟现实(VR)有了长足的发展，它允许用户探索新的环境(真实的和想象的)，能够以前所未有的沉浸式的方式与媒体接触。

然而，分享这些体验是很困难的，因为当前头戴式VR设备完全隐藏了佩戴者的面部，在社交体验中，阻碍了两个或多个用户共享3D沉浸式体验的交互需求，他人很难观察体验者的表情和理解他们的直观感受。

因此需要一个解决方案能够实现虚拟地去除面部遮挡物，恢复人脸的方法，观众可以使用这种恢复视图来感受用户的体验，从而缓解这种脱节现象。

发明内容

为此，本申请实施例提供一种基于人脸的二维重建方法、系统、设备及存储介质，准确又便捷的还原了被遮挡的人脸图像。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种基于人脸的二维重建方法，所述方法包括：

获取无遮挡人脸图像和被遮挡人脸图像；

将所述被遮挡人脸图像输入预先训练的关键点识别模型，以获取所述被遮挡人脸图像中的关键点；

将所述被遮挡人脸图像及其关键点输入图像生成器网络，得到基于所述被遮挡人脸图像生成的去除遮挡的重建人脸图像；所述图像生成器网络是基于图像判别器网络对所述无遮挡人脸图像及其关键点、所述被遮挡人脸图像及其关键点进行训练得到的。

可选地，所述图像生成器网络的训练过程包括如下步骤：

将所述图像生成器网络生成的去除遮挡的重建人脸图像的关键点与对应的被遮挡图像及其关键点的一致性作为约束项，计算所述被遮挡图像的关键点与所述去除遮挡的重建人脸图像的关键点的关键点损失函数；

将去除遮挡的重建人脸图像和无遮挡人脸图像成对输入所述图像判别器网络，所述图像判别器网络输出所述去除遮挡的重建人脸图像是否为去除遮挡的重建人脸图像的判别结果，并将判别结果反馈到所述图像生成器网络；

所述图像判别器网络根据三类数据进行训练，以更新所述图像生成器网络的权重，直到所述权重满足预设值；所述三类数据包括无遮挡人脸图像和所述无遮挡人脸图像对应的关键点、生成的去除遮挡的重建人脸图像和生成的人脸图像对应遮挡下的关键点、无遮挡人脸图像和与所述无遮挡人脸图像不匹配的关键点。

可选地，所述将所述被遮挡人脸图像及其关键点输入图像生成器网络，得到基于所述被遮挡人脸图像生成的去除遮挡的重建人脸图像，包括：

将被遮挡人脸RGBA彩色图像及其关键点输入下采样模块，以降低分辨率和增加特征维度；再经过残差网络模块，以提取高纬的特征信息；再通过特征图编码分类器提取注意力权重，以使得特征值注意力模块将学习到的根据输入图像变化的注意力权重加在另一残差网络模块上，再通过上采样模块还原输入图像的尺寸。

可选地，所所述特征值注意力模块用于区分基于辅助分类器获得的图像是否是被遮挡部分的源域和目标域，以确定密集转换的区域。

根据本申请实施例的第二方面，提供了一种基于人脸的二维重建系统，所述系统包括：