[发明专利]人脸遮挡物去除及其模型构建的方法、设备及介质

权利要求书

1.一种人脸遮挡物去除模型的构建方法，其特征在于，该构建方法基于生成对抗网络所形成，所述生成对抗网络包括生成网络及对所述生成网络进行调优的对抗网络，该构建方法包括以下步骤：

1)获取训练数据集，所述训练数据集包括多张真实无遮挡人脸图像与被遮挡人脸图像；

2)将所述真实无遮挡人脸图像与所述被遮挡人脸图像进行预处理；

3)将经过预处理的所述被遮挡人脸图像输入所述生成网络，以得到对应于所述被遮挡人脸图像的仿真无遮挡人脸图像；

4)将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像共同输入所述对抗网络，以让所述对抗网络对其进行区别分类，并更新生成网络和对抗网络的参数数值；

5)重复第3)和第4)两个步骤，直至达到预定目标后，记录并保存此时的所述生成网络的网络结构与参数数值，并将其作为所述人脸遮挡物去除模型的网络结构与参数数值。

2.根据权利要求1所述的人脸遮挡物去除模型的构建方法，其特征在于，将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像共同输入所述对抗网络，以让所述对抗网络对其进行区别分类，具体包括：

将所述仿真无遮挡人脸图像与经过预处理的所述真实无遮挡人脸图像同时输入所述对抗网络；

判断所述对抗网络是否能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类；

若不是，则停止上述训练，并保存此时的所述生成网络的网络结构与参数数值，将其作为所述人脸遮挡物去除模型的网络结构与参数数值。

3.根据权利要求2所述的人脸遮挡物去除模型的构建方法，其特征在于，若所述对抗网络能将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类，则还包括：

继续使用所述训练数据集训练所述生成网络与所述对抗网络，直至所述对抗网络不能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类。

4.根据权利要求2或3所述的人脸遮挡物去除模型的构建方法，其特征在于，判断所述对抗网络是否能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类，具体包括：

判断所述对抗网络是否能够识别出所述仿真无遮挡人脸图像是经由所述被遮挡人脸图像通过所述生成网络后输出的生成图像；

若是，则判定所述对抗网络能够将所述仿真无遮挡人脸图像与所述真实无遮挡人脸图像区别分类。

5.根据权利要求1所述的人脸遮挡物去除模型的构建方法，其特征在于，所述真实无遮挡人脸图像与所述被遮挡人脸图像为非配对人脸图像。

6.一种人脸遮挡物的去除方法，其特征在于，其基于权利要求1～5任一项所述的人脸遮挡物去除模型的构建方法所构建的人脸遮挡物去除模型来实现，其包括以下步骤：

接收待去除遮挡物的人脸遮挡物图像的处理信号，并对所述人脸遮挡物图像进行预处理；

读取预先保存的所述人脸遮挡物去除模型的网络结构与参数数值，以恢复生成对所述人脸遮挡物图像的处理信号进行处理的目标生成网络；

将所述人脸遮挡物图像输入所述目标生成网络进行处理，以输出无遮挡物且保留所述人脸遮挡物图像原有脸部信息的人脸图像。

7.根据权利要求6所述的人脸遮挡物的去除方法，其特征在于，对所述待去除遮挡物的人脸遮挡物图像预处理的方式和对所述训练数据集预处理的方式相同。

8.根据权利要求7所述的人脸遮挡物的去除方法，其特征在于，所述预处理的方式具体包括：

估计每个所述人脸样本图像的人脸关键点在图像中的位置，所述人脸关键点包括人脸的左眼、右眼与嘴巴；

将每个所述人脸样本图像进行仿射变换，并移动所述人脸关键点至目标位置。

9.一种终端设备，其特征在于，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～5所述的人脸遮挡物去除模型的构建方法，或实现如权利要求6～8所述的人脸遮挡物的去除方法。

10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现如权利要求1～5所述的人脸遮挡物去除模型的构建方法，或实现如权利要求6～8所述的人脸遮挡物的去除方法。