[发明专利]一种基于样本中心损失函数的跨模态行人重识别方法

说明书

本发明公开了一种基于样本中心损失函数的跨模态行人重识别方法，具体步骤包括：对跨模态行人重识别数据集进行数据增强和批采样；构建具有模态特异结构的深度特征提取模型；在深度特征提取模型后设置全局平均池化层，得到第一阶段特征用于计算样本中心损失；对第一阶段特征进行归一化，得到第二阶段特征用于计算身份分类损失；使用样本中心损失和身份分类损失联合监督跨模态行人重识别网络的训练；使用训练好的网络进行跨模态行人重识别。本发明提出的样本中心损失函数旨在缓解不同模态行人特征之间的显著差异，提高同类行人特征的一致性和异类行人特征的区分性，实现更好的跨模态行人重识别效果。

技术领域

本发明属于图像处理、模式识别技术领域，特别地涉及一种基于样本中心损失函数的跨模态行人重识别方法。

背景技术

行人重识别技术能够在不同相机所采集的行人图像中查找和匹配目标行人。随着视频监控的广泛普及，行人重识别技术在安防、交通、医疗以及智能生活等领域发挥着日益重要的作用。现有的关于行人重识别的技术主要集中在可见光的行人重识别，但可见光相机在黑暗的环境中无法正常使用，因此许多新型摄像头能够根据环境变化切换为红外模式，进行24小时不间断的监控。在这种情况下，跨模态行人重识别技术被提出，旨在将可见光(RGB)行人图像与只有灰度信息的红外(IR)行人图像进行匹配，实现跨模态的行人检索。跨模态行人重识别技术弥补了传统的可见光行人重识别的在夜间监视场景中的局限，从而提高行人重识别技术的适用性。

行人重识别任务受到光照变化、行人姿态变化、不同拍摄视角和外界遮挡等诸多因素的影响，导致同一个行人在不同摄像机下可能存在较大的外观差异。此外，由于可见光和红外相机的成像原理不同，捕获的RGB、IR行人图像存在严重的跨模态差异。这些问题使得跨模态行人重识别任务极具挑战性。

针对跨模态行人重识别任务，现有的方法往往采用结构优化的卷积神经网络(CNN)，如深度补零(zero-padding)网络和双路(two-stream)网络，它们具有模态特异的网络结构，有利于处理行人图像的模态差异。更多方法通过优化训练网络的损失函数，为跨模态的行人图像提取到具有判别性的行人特征。如Ye等人提出的双向双约束高阶损失(BDTR)，Hao等人提出的相互排序损失(Reciprocal ranking loss)和Liu等人提出的双模态三元组损失(Dual-modality triplet loss)。它们均采用一种改进的跨模态(Cross-modality)双向三元组损失，使得不同模态同类行人图像的特征相互靠近，不同模态异类行人图像的特征相互远离。此外，它们采用一种额外的模态内(Intra-modality)度量损失，对相同模态行人特征之间的距离进行约束。然而，这些损失函数并没有直接约束跨模态行人特征之间的差异，导致不同模态行人特征之间的距离鸿沟直接影响到跨模态行人重识别的性能。

发明内容

本发明为了解决现有跨模态行人重识别技术的不足，提出了一种基于样本中心损失函数的跨模态行人重识别方法，旨在通过直接约束跨模态行人特征之间的差异，同时提高同类行人特征的一致性与异类行人特征的区分性，进一步提升跨模态行人重识别的性能。

为了实现上述目的，本发明提出了一种基于样本中心损失函数的跨模态行人重识别方法包含以下步骤：

步骤S1，对跨模态行人重识别的训练数据集进行数据增强；

步骤S2，对训练数据集进行批采样，构建多个批次的训练数据；

步骤S3，构建具有模态特异结构的深度特征提取模型；

步骤S4，在所述深度特征提取模型后设置全局平均池化层，输出得到第一阶段特征；

步骤S5，设置样本中心损失函数，对第一阶段特征计算样本中心损失；

步骤S6，在所述全局平均池化层后设置批归一化层，对第一阶段特征进行归一化操作，得到第二阶段特征；