[发明专利]一种人脸识别方法、装置及电子设备

说明书

本申请涉及人脸识别技术领域，尤其涉及一种人脸识别方法、装置及电子设备。该人脸识别方法包括：获取第一模态的第一人脸图像和第二模态的第二人脸图像；根据所述第一人脸图像或所述第二人脸图像确定人脸是否佩戴口罩；若是，则对所述第一人脸图像的口罩区域进行裁剪得到第一模态半脸图像，将所述第一模态半脸图像输入经训练的第一神经网络模型输出第一模态人脸特征数据；对所述第二人脸图像的口罩区域进行裁剪得到第二模态半脸图像，将所述第二模态半脸图像输入经训练的第二神经网络模型输出第二模态人脸特征数据；根据所述第一模态人脸特征数据和所述第二模态人脸特征数据进行人脸识别。本申请实施例可以提升对口罩人脸进行人脸识别的准确度。

技术领域

本申请涉及人脸识别技术领域，尤其涉及一种人脸识别方法、装置及电子设备。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

现有的人脸识别系统在用户配合、采集条件比较理想的情况下可以取得令人满意的结果。但是，在用户不配合、采集条件不理想等情况下，识别率将陡然下降。比如，人脸比对时，与系统中存储的人脸有出入，例如剃了胡子、换了发型、多了眼镜、变了表情都有可能引起比对失败。尤其是在人人都需要佩戴口罩的疫情期间，现有系统已经不能满足人脸识别的需求。

发明内容

有鉴于此，本申请实施例提供了一种人脸识别方法，可以解决相关技术中的至少一个技术问题。

第一方面，本申请一实施例提供了一种人脸识别方法，包括：获取第一模态的第一人脸图像和第二模态的第二人脸图像；根据所述第一人脸图像或所述第二人脸图像确定人脸是否佩戴口罩，若是，则对所述第一人脸图像的口罩区域进行裁剪得到第一模态半脸图像，将所述第一模态半脸图像输入经训练的第一神经网络模型输出第一模态人脸特征数据；对所述第二人脸图像的口罩区域进行裁剪得到第二模态半脸图像，将所述第二模态半脸图像输入经训练的第二神经网络模型输出第二模态人脸特征数据；根据所述第一模态人脸特征数据和所述第二模态人脸特征数据进行人脸识别。

在一些实施例中，经训练的所述第一神经网络模型由多个所述第一模态的第一图像样本训练初始的所述第一神经网络模型得到，所述第一图像样本包括第一半脸图像；经训练的所述第二神经网络模型由多个所述第二模态的第二图像样本训练初始的所述第二神经网络模型得到，所述第二图像样本包括第二半脸图像，经训练的所述第一神经网络模型作为初始的所述第二神经网络模型，所述第一图像样本的数量大于所述第二图像样本的数量。

在一些实施例中，得到经训练的所述第一神经网络模型，包括：获取多个第一模态的第一人脸图像样本；对所述第一人脸图像样本依次进行人脸检测、半脸剪裁和归一化处理后得到第一半脸图像；利用多个所述第一半脸图像，使用分类损失训练初始的第一神经网络模型得到经训练的第一神经网络。

在一些实施例中，得到经训练的所述第二神经网络模型，包括：获取多个第二模态的第二人脸图像样本；对所述第二人脸图像样本依次进行人脸检测、半脸剪裁和归一化处理后得到第二半脸图像；利用多个所述第二半脸图像，使用分类损失训练初始的第二神经网络模型得到经训练的第二神经网络。

在一些实施例中，所述根据所述第一模态人脸特征数据和所述第二模态人脸特征数据进行人脸识别，包括：将所述第一模态人脸特征数据和所述第二模态人脸特征数据进行拼接，得到人脸融合特征数据，根据所述人脸融合特征数据进行人脸识别。

在一些实施例中，所述根据所述第一人脸图像或所述第二人脸图像确定人脸佩戴口罩，包括：将所述第一人脸图像输入第三神经网络模型输出人脸佩戴口罩的第一概率，当所述第一概率大于预设概率阈值，则确定人脸佩戴口罩；或，将所述第二人脸图像输入第四神经网络模型输出人脸佩戴口罩的第二概率，当所述第二概率大于所述预设概率阈值，则确定人脸佩戴口罩。