[发明专利]一种近红外-可见光跨模态双流行人重识别方法及系统

权利要求书

1.一种近红外-可见光跨模态双流行人重识别方法，其特征在于，包括以下步骤：

通过数据获取模块获取跨模态行人图像数据集；

构建多头自注意力机制的近红外-可见光跨模态双流行人重识别网络模型，并进行参数初始化；

对所述跨模态行人图像数据集进行图像预处理，并通过固定目标样本策略使得每张图片的采用概率相等，预处理后行人图像数据集作为跨模态双流行人重识别网络模型的输入张量；

采用随机调换输入策略，将预处理后行人图像数据集输入跨模态双流行人重识别网络模型中进行训练，得到最优的跨模态双流行人重识别网络模型并保存；

使用最优的跨模态双流行人重识别网络模型分别提取近红外图像和可见光图像的特征向量，即分别提取近红外模态的特征向量和可见光模态的特征向量；

将两个模态的特征向量进行欧式距离计算并按照距离大小排序得到特征匹配结果，完成近红外-可见光跨模态双流行人重识别。

2.根据权利要求1所述的一种近红外-可见光跨模态双流行人重识别方法，其特征在于，所述多头自注意力机制的近红外-可见光跨模态双流行人重识别网络模型包括多头自注意力双流网络模块、局部关系分支模块、全局分支模块。

3.根据权利要求2所述的一种近红外-可见光跨模态双流行人重识别方法，其特征在于，所述多头自注意力双流网络模块采用ResNet50作为主干网络，包含若干个Stage，将Stage0作为特定模态图像的特征提取部分,Stage0的参数不共享，用于提取可见光模态图像和红外模态图像的模态特定信息，其余Stage2-Stagei作为混合模态图像的特征提取部分，Stage2-Stagei的参数共享。

4.根据权利要求3所述的一种近红外-可见光跨模态双流行人重识别方法，其特征在于，所述局部关系分支模块将多头自注意力双路网络模块的输出特征图作为输入，对输出特征图进行切分得到水平特征图，将每个水平特征图依次输入到三核的卷积层结构，得到卷积后特征图，将第一核和第二核得到的卷积后特征图做乘法操作后得到一个p*p阶的相似性矩阵，将所述相似性矩阵和第三核得到的卷积后特征图做乘法操作得到p*2048个特征图，做一个全局平均池化层得到1*2048的特征向量，用来与全局分支模块特征融合以及做跨模态三元组损失计算。

5.根据权利要求4所述的一种近红外-可见光跨模态双流行人重识别方法，其特征在于，所述全局分支模块包含广义平均池化层、BN层、融合层；所述全局分支模块将多头自注意力双流网络模块的输出特征图作为输入，经过广义平均池化层得到特征向量，经过BN层做归一化处理，将归一化处理后的特征向量和局部关系分支模块池化后的特征向量做加法操作，得到最终多头自注意力机制的近红外-可见光跨模态双流行人重识别网络模型训练的输出特征，用于做Circle损失计算。

6.根据权利要求1所述的一种近红外-可见光跨模态双流行人重识别方法，其特征在于，所述对跨模态行人图像数据集进行图像预处理，具体为：对跨模态行人图像数据集中图像进行固定大小的随机裁剪，然后将裁剪好的图像按照设定概率进行水平翻转，接着将水平翻转后的图像进行归一化处理得到三维张量，随机将三维张量中的部分区域擦除，得到适合网络模型训练的输入张量。

7.根据权利要求1所述的一种近红外-可见光跨模态双流行人重识别方法，其特征在于，所述采用随机调换输入策略，具体为：在基于多头注意力机制的近红外-可见光跨模态双流行人重识别网络模型训练过程中，所述跨模态双流行人重识别网络模型的两个输入端输入图像会随着模型训练Epoch的增加而进行随机调换；刚开始进行第一概率的调换，即有第一概率将网络的一个输入端输入换成另外一个输入端的输入；然后在40epoch的时候进行第二概率的调换，在70epoch的时候进行第三概率的调换，总共训练120epoch；通过调换输入策略，一个特定模态的网络将有概率地接受另一个模态的图像作为输入。