[发明专利]一种基于数据增强的部分遮挡人脸识别方法

摘要

本发明公开了一种基于数据增强的部分遮挡人脸识别方法，运用了人工智能的深度卷积神经网络，多次进行人脸对齐，五官检测，人脸特征提取，人脸匹配；通过数据增强的原理，通过对标准人脸的遮挡物进行遮挡种类预判断，对遮挡人脸的身份预判断对标准人脸的遮挡物进行遮挡种类预判断，整合两次预判断结果进行数据增强，以标准人脸为基础，重构遮挡人脸库，最后通过原始遮挡人脸与重构遮挡人脸库进行匹配。该技术解决了现有的遮挡人脸识别方法存在因遮挡导致特征信息丢失，人脸识别难度增大，识别准确率降低的技术难题，实现了提高遮挡人脸识别精度和效率的技术效果。

主权项

1.一种基于数据增强的部分遮挡人脸识别方法，其特征在于，所述方法包括：步骤一：获得具有遮挡物的待识别人脸图片，人脸图片中遮挡物为墨镜或口罩；步骤二：对待识别遮挡人脸图片进行预处理，获得预处理后的遮挡人脸图片；步骤三：对预处理后的遮挡人脸图片进行检测，获得图片中遮挡人脸的遮挡物信息；基于遮挡物信息对遮挡物的类型进行判断，若为墨镜遮挡，使用神经网络模型对该墨镜进行分析处理，获得与该墨镜类型相似的G款匹配墨镜，G为大于等于1的正整数；若为口罩遮挡，使用神经网络模型对该口罩进行分析处理，获得与该口罩类型相似的M款匹配口罩，M为大于等于1的正整数；步骤四：若为墨镜遮挡，使用卷积神经网络模型，对匹配的G款墨镜或进行轮廓与关键点检测，获得匹配墨镜的关键信息；若为口罩遮挡，使用卷积神经网络模型，对匹配的M款口罩进行轮廓与关键点检测，获得匹配口罩的关键信息；步骤五：使用多任务检测卷积神经网络，对预处理后的遮挡人脸图片进行关键5点检测，并按照未遮挡的标准人脸的人脸对齐方式，对预处理后的遮挡人脸进行人脸对齐操作；调用Dlib库，得到预处理后的遮挡人脸68点信息，包括轮廓与五官关键点信息；步骤六：基于深度卷积神经网络模型，对进行人脸对齐操作后的遮挡人脸图片进行特征信息提取处理，得到多维特征信息information1；步骤七：基于步骤六提取出的特征信息，在有身份标签、无遮挡的标准人脸数据库中，对待识别的遮挡人脸图片进行身份匹配；按照相似程度，在标准人脸数据库中匹配出与待识别遮挡人脸图片相似的N张标准人脸，N为大于等于1的正整数；步骤八：使用mtcnn，调用Dlib库，对匹配得到的N个标准人脸进行人脸检测，得到标准人脸5点与68点面部轮廓及其五官关键点信息；步骤九：使用步骤四的遮挡物匹配信息与步骤五中的遮挡物关键点提取信息，若待识别的遮挡人脸的遮挡物为墨镜遮挡，则对匹配的有标签、无遮挡的标准人脸按照眼部轮廓和眼部中心关键点进行墨镜轮廓和墨镜中心关键点的映射，重构戴墨镜遮挡人脸；若待识别的遮挡人脸的遮挡物为口罩遮挡，则对匹配的有标签、无遮挡的标准人脸按照面部轮廓和鼻子中心关键点进行口罩轮廓和口罩中心关键点的映射，重构戴口罩遮挡人脸；步骤十：根据步骤九中的重构遮挡人脸图片，建立带标签的遮挡人脸数据库：若遮挡为墨镜，则构建墨镜遮挡人脸数据库；若遮挡为口罩，则构建口罩遮挡人脸数据库；步骤十一：使用同步骤六的深度卷积神经网络模型，对重构的遮挡人脸进行特征信息提取处理，得到多维特征信息information2；步骤十二：将提取出原始遮挡人脸特征信息information1与重构遮挡人脸的特征信息information2，通过比较其欧氏距离，进行原始遮挡人脸的身份匹配，基于匹配结果实现遮挡人脸的识别。