[发明专利]用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备

说明书

本发明公开一种用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备，包括：获取待检测的人脸图像；对所述人脸图像进行检测得到人脸信息，包括人脸框和人脸关键点；将所述的人脸关键点与预设的人脸关键点进行仿射变换对齐，取裁剪后的人脸图像；将裁剪后的人脸图像输入预训练的人脸遮挡检测模型进行识别，得到待测人脸图像的遮挡信息。本发明的方法可以检测出具体的人脸区域是否存在遮挡，并输出人脸8个区域的遮挡程度分数，有效地验证人脸遮挡检测模型的准确性。

技术领域

本发明属于计算机视觉与图像识别技术领域，具体涉及一种用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备。

背景技术

近年来，深度学习在计算机视觉领域取得显著性的成效并得到广泛应用，其中，深度学习在人脸识别应用最为广泛。人脸识别在实际应用场景下受到诸多挑战，如人脸遮挡、光照、角度等问题，而人脸遮挡问题较为常见，如墨镜、口罩、帽子、围巾、手部等，并且该问题严重影响人脸识别准确度。为了解决该问题，通过人脸遮挡检测的方法保证输入到人脸识别系统的图片是无遮挡的人脸图片。

人脸遮挡检测的方法主要是检测人脸是否存在遮挡，具体人脸区域如眼部、鼻子、嘴部、下巴、脸部、额头。现有技术中如公开号为CN112016464A和CN111428581A的专利申请文件描述的检测人脸遮挡方法，包括：获取待检测图像；将待检测图像输入预设的人脸遮挡检测模型，获取待检测图像的人脸遮挡检测结果；人脸遮挡检测模型的训练过程包括：根据预设的网络结构对至少两个数据集的人脸样本图像进行训练，生成人脸遮挡检测模型，数据集包括至少两个样本数据，每个数据集携带有表征数据集的应用场景的标签信息。

多标签深度卷积网络表示网络同时具有识别多个目标的功能，例如，假设人、狗、汽车和猫均是网络的识别目标，当识别场景同时出现上述物体，多标签网络能同时识别上述物体，并返回上述所有结果，而非仅返回其中一个结果。同样，对于多标签的人脸遮挡检测网络而言，当人脸同时出现多个人脸遮挡区域，网络均能检测出所有人脸遮挡区域。

发明内容

为了解决人脸遮挡影响人脸识别准确度的问题，本发明通过使用多标签的深度卷积神经网络判断输入人脸图片是否存在遮挡，并输出具体相应遮挡区域，以提示用户做出相应的调整动作，保证人脸识别系统得到无遮挡的人脸图像。

为实现上述发明目的，采用具体技术方案如下：

一种用于人脸遮挡检测的多标签深度卷积神经网络方法，包括：

获取待检测的人脸图像；

对所述人脸图像进行检测得到人脸信息，包括人脸框和人脸关键点；

将所述的人脸关键点与预设的人脸关键点进行仿射变换对齐，取裁剪后的人脸图像；

将裁剪后的人脸图像输入预训练的人脸遮挡检测模型进行识别，得到待测人脸图像的遮挡信息。

本发明可以检测出具体的人脸区域是否存在遮挡，并输出人脸8个区域的遮挡程度分数，有效地验证人脸遮挡检测模型的准确性。

其中，对齐并裁剪的人脸遮挡图像是通过待检测人脸图像的5个人脸关键点与5个标准的人脸关键点进行仿射变换对齐并裁剪为人脸区域大小为256x256。进一步优选的，所述5个人脸关键点包括左眼珠、右眼珠、鼻尖、左嘴角和右嘴角的坐标点信息，而5个标准的人脸关键点的坐标点信息为预设值。

本发明中个，所述的待测人脸图像的5个关键点是由预先设置的人脸检测器所检测得到。

优选的，所述遮挡信息包括遮挡的脸部区域以及对应脸部区域的遮挡程度信息；

所述脸部区域为八个，分别为左眼、右眼、鼻子、嘴部、下巴、额头、左脸和右脸。

优选的，所述预训练的人脸遮挡检测模型的训练步骤包括：