[发明专利]一种基于模态增广的近红外与可见光跨模态人脸识别方法

说明书

本发明公开一种基于模态增广的近红外与可见光跨模态人脸识别方法，包括：采集近红外人脸图像集和可见光人脸图像集；构建用于近红外人脸到辅助可见光人脸转换的生成对抗网络并训练，将近红外人脸图像集转换成辅助可见光人脸图像；将辅助可见光人脸图像作为辅助模态，与近红外人脸图像集和可见光人脸图像集共同组成三模态图像组；构建卷积神经网络，利用所述三模态图像组训练得到跨模态人脸识别器；将待识别数据输入到所述识别器中进行跨模态人脸识别，输出识别结果。本发明能增加辅助模态以弥补模态之间的差异，充分提取近红外和可见光的跨模态不变人脸特征信息，从而提高近红外与可见光跨模态人脸识别准确度。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于模态增广的近红外与可见光跨模态人脸识别方法。

背景技术

人脸识别是计算机视觉领域中研究最为活跃的生物特征识别技术之一。通过开发深卷积神经网络(CNN)模型，可见光下人脸识别的性能达到了99％以上。然而，可见光下人脸图像有一个缺点，即图像的脸部部分的强度很大程度上依赖于光照环境，例如在黑暗的街道或室内，可见光下人脸图像的强度会发生显著变化。

近红外成像已被证明对可见光照明变化不太敏感，所以近红外成像技术为提高极端照明条件下的人脸识别性能提供了一种有效和直接的解决方案。该方法适用于远程甚至夜间的人脸识别，已广泛应用于人脸识别和授权应用，如安全监视和电子护照。然而，由于可见光摄像头的大规模部署，大多数人脸库只包含可见光图像。因此，近红外和可见光人脸图像之间的匹配需求已经急剧增加，并引起了相当大的关注。

不同模态人脸图像成像原理的不同导致了即使是同一个人的近红外模态和可见光模态的人脸图像，但是它们之间仍然存在巨大的视觉差异，这是单通道图像与多通道图像的图像信息严重不对等造成的。而巨大的视觉差异就使得传统的人脸识别算法在跨模态人脸数据集上的识别精度大大降低。

发明内容

本发明为了克服近红外模态与可见光模态的巨大差异，提出一种基于模态增广的近红外与可见光跨模态人脸识别方法，以期能增加辅助模态以弥补模态之间的差异，充分提取近红外与可见光的跨模态人脸不变特征信息，从而提高近红外与可见光跨模态人脸识别准确度和识别效果。

本发明为解决技术问题采用如下技术方案：

本发明一种基于模态增广的近红外与可见光跨模态人脸识别方法的特点在于，包括以下步骤：

步骤1、用近红外相机和光学相机分别采集若干人的近红外人脸图像与可见光人脸图像，并进行人脸检测和尺寸归一化预处理，得到近红外人脸图像集DT₁和可见光人脸图像集DT₂；

步骤2、将近红外人脸图像集DT₁和可见光人脸图像集DT₂中属于同一个人的若干张近红外人脸图像和可见光照人脸图像进行对比，将最相似的一对红外人脸图像与可见光人脸图像提取出来构成双模态人脸图像对，进而由若干组双模态人脸图像对构成人脸生成训练数据集DT₃；

步骤3、构建生成对抗网络，并将训练数据集DT₃输入到生成对抗网络中进行训练，得到用于近红外模态到可见光模态之间人脸转换的生成对抗网络模型，并利用所述网络模型将近红外人脸图像集DT₁中所有的近红外人脸图像转换成辅助可见光人脸图像，由所述辅助可见光人脸图像组成可见光人脸图像集DT₄；

步骤4、构建卷积神经网络，将可见光人脸图像集DT₄作为辅助模态，步骤1中的近红外人脸图像集DT₁作为近红外模态，可见光人脸图像集DT₂作为可见光模态，共同组成三模态图像组，并一起输入到卷积神经网络中进行训练，得到跨模态人脸识别器；

步骤5、将待识别的近红外人脸图像集输入到所述跨模态人脸识别器中进行跨模态人脸的识别，并输出识别结果。