[发明专利]一种基于自适应得分融合与深度学习的人脸识别方法及系统

说明书

技术领域

本发明涉及人脸识别领域，具体涉及一种基于自适应得分融合与深度学习的人脸识别方法及系统。

背景技术

现阶段人脸识别的研究已经取得了很多的成果，近几年，基于深度学习的人脸识别算法在特征表达能力上，要明显优于其他的人脸识别算法，因此基于深度学习的人脸识别算法被广泛的应用于工程项目中，但是在实际的应用中，基于深度学习的人脸识别算法在复杂的光照环境下，存在着很大的缺陷和不足，这个缺陷大大的限制了深度学习算法的应用范围。

为了克服环境光照变化对深度学习算法性能的影响，学术界和相关企业都做了大量的研究和技术开发，但大部分工作在于对现有可见光人脸识别系统进行改进，以减轻环境光照的影响。虽然取得了一定的进步，但收效甚微。

基于热红外或远红外图像的方法，易受环境温度、人的情绪和健康状态的影响，使得获取到的人脸图像发生较大的变化，在实际的应用系统中性能并不好。

所以本专利提出了基于近红外人脸识别的技术。由于近红外图像在任意环境光照下都是清晰、正面光照的，这为构建不受环境光影响且高度准确的基于深度学习的人脸识别系统，提供了良好的图像数据技术，解决了困扰人脸识别领域的环境光照的问题，克服了可见光技术在光线变化后性能下降，以及黑暗情况下无法识别的弊端。

但是由于近红外摄像头成像原理的缺陷，使用深度学习算法提取到的人脸特征无法表达人脸的一些细节特征。

发明内容

为解决上述问题，本发明提供了一种基于自适应得分融合与深度学习的联合近红外和可见光人脸图像的人脸识别方法及系统，同时利用可见光摄像头与近红外摄像头的互补性，利用深度学习算法同时对可见光人脸图片进行特征提取，最后使用融合算法对深度学习模型提取到的特征进行得分层次的融合，起到一个优势互补的作用。

为实现上述目的，本发明采取的技术方案为：

一种基于自适应得分融合与深度学习的人脸识别系统，包括：

近红外人脸和可见光人脸采集单元，用于通过两个模态的摄像头协同工作，共同采集同一个人脸的图片；

人脸特征提取单元，用于通过深度卷积模型分别对获取的近红外人脸图片和可见光人脸图片进行特征提取；

自适应的分融合单元，用于通过欧氏距离求出两张图片的相似度，也就是图片的得分，然后利用自适应的得分融合算法对使用深度学习算法提取到的人脸特征在得分层次进行融合，求出该用户最终的得分；由于巧妙地分别利用基于近红外人脸图像与可见光人脸图像计算出的相似度来自动确定融合的权重(两个权重值分别体现了近红外人脸图像与可见光人脸图像在进行当前人脸识别中的重要性)，因此具有完全的自适应的特点，非常适合实际应用；融合的目的是将使用深度学习算法提取到的特征能够有效的结合到一起，充分发挥多模态图片和深度学习算法的优势，最后利用融合后的得分对人脸进行分类；

结果输出单元，用于进行最终得分结果的输出。

其中，所述的近红外人脸和可见光人脸采集单元通过可见光摄像头和近红外摄像头同时去捕捉人脸并采集相应的人脸图片，近红外摄像头可以通过近红外成像设备获取到不受可见光影响的人脸图片，可见光摄像头可以通过可见光成像设备获取到包含人脸纹理细节的图片。

其中，所述近红外人脸和可见光人脸采集单元包括

图像采集单元，用于为深度学习模型采集到对光照鲁棒的人脸表示；

人脸检测单元，用于捕捉出现在摄像头当中的人脸图片，并截取适当大小的人脸图片作为深度学习算法模型的输入。

根据深度学习模型的特点，图像采集单元主要是为深度学习模型采集到对光照鲁棒的人脸表示。首先通过获得近红外图片来解决深度学习算法对光照敏感的缺陷，然后通过获取到的可见光人脸图片旨在弥补近红外图片的细节损失。即所述的图像采集单元选择合适的近红外摄像头和近红外滤光片作为近红外人脸图像的采集设备，消除可见光的入射角度和强度对人脸成像的影响。另外选择合适的可见光摄像头来捕捉人脸的纹理细节特征。

其中，所述人脸特征提取单元包括两个部分：

第一个部分是用大量可见光图片训练的原始的人脸识别模型；

第二部分是通过近红外人脸图片对第一部分的深度学习模型进行微调所得的可以提取近红外的人脸特征的深度学习模型；具体的，利用第一阶段得到的模型参数来初始化近红外人脸识别模型，然后再利用少量的近红外人脸图片对模型的参数做最后的微调，即得可以提取近红外的人脸特征的深度学习模型。

其中，微调的具体调参公式如下：