[发明专利]一种去遮挡物模型训练方法、装置及电子设备

说明书

本申请提供一种去遮挡物模型训练方法、装置及电子设备，通过获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至GAN网络结构中进行模型训练，得到去遮挡物模型。通过本申请训练出来的去遮挡物模型，可以支持去除口罩、墨镜、围巾等装饰或遮挡物，从而实现去除人像图片中的遮挡物的目的。

技术领域

本申请涉及人脸识别技术领域，特别的，尤其涉及一种去遮挡物模型训练方法、装置及电子设备。

背景技术

人类伪造、换脸等技术常见于媒体报道，如使用的是常见的换脸技术，将一个人的脸换到另一个人的视频里，同时要同步表情、眼神等。但是这种换脸技术主要用于进行人脸替换，一般不会使用相同的人进行人脸替换，并不适用于人脸存在遮挡物的情况。

为此，如何去除用于人脸识别图片中遮挡物，是本领域技术人员亟待解决的问题。

发明内容

鉴于上述内容中的问题，本申请提供了一种去遮挡物模型训练方法、装置及电子设备，用以去除用于人脸识别图片中的遮挡物。

为了实现上述目的，本申请提供了以下技术方案：

一种去遮挡物模型训练方法，包括：

获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；

对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；

将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至GAN网络结构中进行模型训练，得到去遮挡物模型。

进一步的，当所述源人脸图片与所述有遮挡人脸图片为两张相同人但不完全一致的人脸时，根据所述目标输出人脸图片的98个关键点信息为所述目标输出人脸图片添加遮挡物。

进一步的，当所述有遮挡人脸图片为实时拍摄得到时，则根据所述源人脸图片和所述目标输出人脸图片去除所述有遮挡人脸图片中的遮挡物。

进一步的，所述将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，包括：

将所述源人脸图片输入至第一编码器，生成第一特征；

将所述有遮挡人脸图片输入至第二编码器，生成第二特征；

通过所述第一特征和所述第二特征生成合成特征；

将所述合成特征与所述98个关键点信息进行拼接，得到所述目标输出人脸图片。

一种去遮挡物模型训练装置，包括：

第一处理单元，用于获取训练数据集，所述训练数据集至少包括一对训练样本，每对训练样本包含至少三张图片，包括源人脸图片、有遮挡人脸图片和目标输出人脸图片；

第二处理单元，用于对每对所述训练样本进行人脸关键点检测，确定每对所述训练样本对应的98个关键点信息；

第三处理单元，用于将每对所述训练样本中的所述源人脸图片和所述有遮挡人脸图片作为输入参数，所述目标输出人脸图片作为目标输出，输入至GAN网络结构中进行模型训练，得到去遮挡物模型。

进一步的，当所述源人脸图片与所述有遮挡人脸图片为两张相同人但不完全一致的人脸时，根据所述目标输出人脸图片的98个关键点信息为所述目标输出人脸图片添加遮挡物。