[发明专利]一种近红外-可见光跨模态双流行人重识别方法及系统

说明书

本发明公开了一种近红外‑可见光跨模态双流行人重识别方法，以残差网络为基础，初始输入k对图片至神经网络模型中进行特征提取，分别提取可见光模态和红外模态的模态特有特征和模态共享特征；并采用跨模态三元组和Circle联合损失函数对网络模型在近红外‑可见光跨模态数据集上进行训练，将提取到的最终图像特征进行欧式距离度量得到特征匹配结果，实现跨模态行人重识别，本发明采用双流分支网络结构，提高网络特征提取能力，采用随机调换输入策略有概率的选择特定模态的图像输入，引入多头自注意力机制模块以及局部关系注意力方法将不同结构特征融合，有效解决传统可见光图像模式到红外图像模式模态差异大的问题，提高跨模态行人重识别匹配准确率。

技术领域

本发明涉及计算机视觉的研究领域，特别涉及一种近红外-可见光跨模态双流行人重识别方法及系统。

背景技术

行人重识别是计算机视觉领域中的一项热门的研究课题，它将计算机图像处理技术和统计学技术融入到一起，广泛应用于安防领域和智能监控等领域。行人重识别的目的是从一台相机中拍摄的图片或视频给定一个查询行人，从另一台相机拍摄的图片或者视频中去识别出这个特定行人。通过开发卷积神经网络模型，可见光下行人重识别在学术研究上的性能已经达到了95％以上。

随着监控系统的普及，行人重识别技术也取得了很大的进展。为了实现全天候监控，使用可见光摄像头和红外摄像头分别采集白天的可见光图像和夜晚的红外图像。由于不同模态相机的波长范围不同，造成了较大的模态差异以及类内差异，导致两种模态之间存在显著的视觉差异，因此可见光-红外图像跨模态行人重识别受到了极大的关注。可见光-红外图像跨模态行人重识别是一种异质行人图像数据之间检索问题。其核心问题是构建跨模态图像数据间的统一共享特征表达，主要技术难点在于如何有效区分跨模态图像数据中的模态共享和模态特征相关的信息。在跨模态图像识别任务中，期望跨模态共享特征信息学习到更多与身份判别相关联的信息。因此，如果所学共享特征信息混有比较多的与模态特有特征相关的信息，则会降低统一特征表达下的身份判别能力。同时，跨模态图像数据之间的非线性映射比单一模态图像数据在低维空间上的非线性映射更加复杂，这将会对模型结构设计提出更高的要求，模型架构也会更加复杂。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种近红外-可见光跨模态双流行人重识别方法及系统，针对近红外模态与可见光模态图像之间的巨大差异，在双流卷积神经网络的基础上对网络模型进行了改进，主要包含三个组成部分：1、多头自注意力双流网络模块；2、局部关系分支模块；3、全局分支模块；本文提出的基于多头注意力机制的跨模态双流行人重识别网络可以充分提取近红外与可见光的跨模态行人不变特征信息，使网络可以学习到泛化能力更强的特征，从而提高近红外与可见光跨模态行人重识别任务的准确度和识别效果。

本发明的第一目的在于提供一种近红外-可见光跨模态双流行人重识别方法；

本发明的第二目的在于提供一种近红外-可见光跨模态双流行人重识别系统。

本发明的第一目的通过以下的技术方案实现：

一种近红外-可见光跨模态双流行人重识别方法，包括以下步骤：

通过数据获取模块获取跨模态行人图像数据集；

构建多头自注意力机制的近红外-可见光跨模态双流行人重识别网络模型，并进行参数初始化；

对所述跨模态行人图像数据集进行图像预处理，并通过固定目标样本策略使得每张图片的采用概率相等，预处理后行人图像数据集作为跨模态双流行人重识别网络模型的输入张量；

采用随机调换输入策略，将预处理后行人图像数据集输入跨模态双流行人重识别网络模型中进行训练，得到最优的跨模态双流行人重识别网络模型并保存；

使用最优的跨模态双流行人重识别网络模型分别提取近红外图像和可见光图像的特征向量，即分别提取近红外模态的特征向量和可见光模态的特征向量；