[发明专利]一种基于模态增广的近红外与可见光跨模态人脸识别方法

权利要求书

1.一种基于模态增广的近红外与可见光跨模态人脸识别方法，其特征在于，包括以下步骤：

步骤1、用近红外相机和光学相机分别采集若干人的近红外人脸图像与可见光人脸图像，并进行人脸检测和尺寸归一化预处理，得到近红外人脸图像集DT₁和可见光人脸图像集DT₂；

步骤2、将近红外人脸图像集DT₁和可见光人脸图像集DT₂中属于同一个人的若干张近红外人脸图像和可见光人脸图像进行对比，将最相似的一对红外人脸图像与可见光人脸图像提取出来构成双模态人脸图像对，进而由若干组双模态人脸图像对构成人脸生成训练数据集DT₃；

步骤3、构建生成对抗网络，并将训练数据集DT₃输入到生成对抗网络中进行训练，得到用于近红外模态到可见光模态之间人脸转换的生成对抗网络模型，并利用所述网络模型将近红外人脸图像集DT₁中所有的近红外人脸图像转换成辅助可见光人脸图像，由所述辅助可见光人脸图像组成可见光人脸图像集DT₄；

步骤4、构建卷积神经网络，将可见光人脸图像集DT₄作为辅助模态，步骤1中的近红外人脸图像集DT₁作为近红外模态，可见光人脸图像集DT₂作为可见光模态，共同组成三模态图像组，并一起输入到卷积神经网络中进行训练，得到跨模态人脸识别器；

步骤5、将待识别的近红外人脸图像集输入到所述跨模态人脸识别器中进行跨模态人脸的识别，并输出识别结果。

2.根据权利要求1所述一种基于模态增广的近红外与可见光跨模态人脸识别方法，其特征在于，所述步骤3是按如下过程进行：

步骤3.1、构建由生成器G和鉴别器D组成的生成对抗网络；

所述生成器G包括：包含m₁个卷积层的编码模块、包含m₂个残差块的转换模块以及包含m₃个反卷积层和m₄个卷积层的解码模块；

所述鉴别器D包含m₅个卷积层；

步骤3.2、将训练数据集DT₃中双模态人脸图像对的近红外人脸图像依次输入到所述生成器G中并经过编码、转换和解码后生成辅助可见光人脸图像；

步骤3.3、将训练数据集DT₃中对应的双模态人脸图像对的可见光人脸图像和所述辅助可见光人脸图像输入到鉴别器D中并输出鉴别结果；

步骤3.4、设置迭代次数为items_num₁，初始学习率设置为lr₁；采用Adam优化方法对生成对抗网络中的各个参数进行优化，并在迭代至一半后对学习率lr₁进行线性减小，使得第items_num₁次迭代时的学习率降为0，直至鉴别器D输出的鉴别结果趋近于0.5，从而得到生成对抗网络模型。

3.根据权利要求1所述一种基于模态增广的近红外与可见光跨模态人脸识别方法，其特征在于，所述步骤4是按如下过程进行：

步骤4.1、构建深度卷积神经网络；

步骤4.1.1、选用ResNet-50卷积神经网络作为基础网络；

步骤4.1.2、采用基础网络最后的池化层输出作为特征表示，并在基础网络的分类层之前添加一个批量规范化层；

步骤4.1.3、设计loss函数，在基础网络最后的池化层后添加多模态身份判别损失函数L_mmi，在批量规范化层后添加交叉模态三元组损失函数L_trir，则总的损失函数为L_total＝L_mmi+L_trir；

步骤4.1.3.1、假设每个训练批次包含s个可见光人脸图像、s个近红外人脸图像和s个生成的可见光人脸图像，利用式(1)构建多模态身份判别损失函数L_mmi：

式(1)中，θ表示在训练中当前的网络模型，n,v,g分别代表近红外模态、可见光模态和辅助模态，i表示图像索引，表示第i幅近红外人脸图像，表示第i幅辅助可见光人脸图像，表示第i幅可见光人脸图像，y_i表示第i幅人脸图像的id标签，s表示每个训练批次所包含的图像数量；表示使用当前网络模型θ将第i幅近红外人脸图像识别为标签y_i的概率，表示网络模型θ将第i幅辅助可见光人脸图像识别为标签y_i的概率，表示网络模型θ将第i幅可见光人脸图像识别为标签y_i的概率；

步骤4.1.3.2、将第i幅近红外人脸图像和第j幅可见光人脸图像之间的欧氏距离表示为i,j分别表示不同的图像索引；将近红外模态作为锚定模态，可见光模态作为正模态，辅助模态作为负模态；

假设第i幅近红外人脸图像是一个锚定的近红外样本，选择欧氏距离最远的近红外与可见光正对和欧氏距离最近的近红外与辅助可见光负对，来构建三元组其中i,j,k分别表示不同的图像索引，表示与锚定近红外样本欧氏距离最远的可见光样本，表示与锚定近红外样本欧氏距离最远的辅助可见光样本；则按照“近红外—可见光—辅助可见光”的模态顺序建立如式(2)所示的三元组损失函数L_n,v,g：

式(2)中，ρ是边缘参数；

步骤4.1.3.3、将可见光模态作为锚定模态，辅助模态作为正模态，近红外模态作为负模态；

假设第i幅可见光人脸图像是一个锚定的可见光样本，选择欧氏距离最远的可见光与辅助可见光正对和欧氏距离最近的可见光与近红外负对，来构建三元组表示与锚定可见光样本欧氏距离最远的辅助可见光样本，表示与锚定可见光样本欧氏距离最远的近红外样本；则按照“可见光—辅助可见光—近红外”的模态顺序构建如式(3)所示的三元组损失函数L_v,g,n：

步骤4.1.3.4、将可见光模态作为锚定模态，辅助模态作为正模态，近红外模态作为负模态；

假设第i幅辅助可见光人脸图像是一个锚定的辅助可见光样本，选择欧氏距离最远的辅助可见光与近红外正对和欧氏距离最近的辅助可见光与可见光负对，来构建三元组表示与锚定辅助可见光样本欧氏距离最远的近红外样本，表示与锚定辅助可见光样本欧氏距离最远的可见光样本；则按照“辅助可见光—近红外—可见光”的模态顺序构建如式(4)所示的三元组损失函数L_g,n,v：

步骤4.1.3.5、利用式(5)构建交叉模态三元组损失函数L_trir：

L_trir＝L_n,v,g+L_v,g,n+L_g,n,v (5)

步骤4.2、设置模型的基础学习率为lr₂，总迭代次数为items_num₂，每迭代λ次学习率减半，将三模态图像组输入到深度卷积神经网络中，并采用随机梯度下降SGD优化算法对深度卷积神经网络中的各个参数进行迭代优化，直至总损失函数L_total不再下降为止，从而得到跨模态人脸识别器。