[发明专利]基于特征重构的跨模态行人重识别方法及系统

权利要求书

1.一种基于特征重构的跨模态行人重识别方法，其特征在于，包括以下步骤：

1)从数据集中成对抽取多个行人的可见光图片和红外图片，形成可见光训练数据集和红外训练数据集；

2)构建基于特征重构的跨模态行人重识别网络模型，所述跨模态行人重识别网络模型主要包括特定特征提取模块、多尺度特征提取模块、Token感知的多尺度特征融合模块和跨模态特征重构模块；通过可见光训练数据集和红外训练数据集对跨模态行人重识别网络模型进行训练，得到可泛化的模型参数；

3)将训练好的跨模态行人重识别网络模型用于跨模态检索，实现跨模态行人重识别。

2.根据权利要求1所述的基于特征重构的跨模态行人重识别方法，其特征在于，步骤1)中，所述数据集为RegDB跨模态行人重识别数据集，采用成对的方式从RegDB跨模态行人重识别数据集中抽取N个行人的M张可见光图片和M张红外图片。

3.根据权利要求1所述的基于特征重构的跨模态行人重识别方法，其特征在于，步骤2)中，所述跨模态行人重识别网络模型的实现方法为：

A)分别通过独立的特定特征提取模块对输入的可见光图片和红外图片进行行人特征提取，然后将提取的行人特征同时输入多尺度特征提取模块；

B)所述多尺度特征提取模块通过多个不同尺度的特征提取模块对可见光图片和红外图片进行多尺度的行人特征提取；

C)将多尺度的行人特征送入到Token感知的多尺度特征融合模块，所述Token感知的多尺度特征融合模块采取可学习Token序列从局部和全局视角双向交互对多尺度的行人特征之间的关系进行建模，减少不同尺度下行人无关特征的干扰；将所述局部和全局视角双向交互过程重复多次，得到最终的可见光、红外多尺度特征关系图和包含多尺度信息的可见光、红外Token序列；

D)将得到的多尺度特征关系图和原有的行人特征进行结合，送入多尺度特征提取模块的最后一个特征提取模块进行进一步的特征学习，然后进行池化以及水平分割，得到行人的可见光、红外全局特征以及局部特征；

E)将行人的可见光、红外全局特征以及局部特征和包含多尺度信息的可见光、红外Token序列输入跨模态特征重构模块进行跨模态特征重构，发掘不同模态下行人特征的联系；

F)为了减少行人特征在重构过程中产生的噪声，构建特征重构损失，对重构后特征和目标模态特征进行损失计算，通过优化器最小化两者的误差，以增强两个模态之间特征的联系。

4.根据权利要求3所述的基于特征重构的跨模态行人重识别方法，其特征在于，步骤B)中，所述多尺度特征提取模块包括四个特征提取模块Stage-1、Stage-2、Stage-3、Stage-4；特定特征提取模块提取的行人特征大小为3*288*144，经过第一个特征提取模块Stage-1后，特征图大小为256*72*36，经过第二个特征提取模块Stage-2后，特征图大小为512*36*18，经过第三个特征提取模块Stage-3后，特征图大小为1024*18*9。