[发明专利]基于特征重构的跨模态行人重识别方法及系统

说明书

本发明涉及一种基于特征重构的跨模态行人重识别方法，包括以下步骤：1）从数据集中成对抽取多个行人的可见光图片和红外图片，形成可见光训练数据集和红外训练数据集；2）构建基于特征重构的跨模态行人重识别网络模型，所述跨模态行人重识别网络模型主要包括特定特征提取模块、多尺度特征提取模块、Token感知的多尺度特征融合模块和跨模态特征重构模块；通过可见光训练数据集和红外训练数据集对跨模态行人重识别网络模型进行训练，得到可泛化的模型参数；3）将训练好的跨模态行人重识别网络模型用于跨模态检索，实现跨模态行人重识别。该方法及系统有利于获得更加稳定、鲁棒、准确的跨模态行人重识别结果。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于特征重构的跨模态行人重识别方法及系统。

背景技术

行人重识别作为视频智能监控系统的关键技术之一，其目的是在不相交的摄像头系统中，检索出相同行人。行人重识别的应用场景十分广泛，如机场、商城、校园等大型场所。之前，有很多工作聚焦于可见光场景下的行人重识别任务，但是没有考虑到现实场景中的光照变化。现如今的摄像头系统，会根据实时的光照情况自动切换到可见光或者红外光模式，以保证全天候的监控。目前较少工作关注到跨模态行人重识别任务，其指在根据可见光(红外光)待检索图像，在红外光(可见光)检索库中找到相同行人的红外光(可见光)图像。跨模态行人重识别不仅要解决行人姿态多变、遮挡、摄像机角度差异、背景杂乱、光照变化等一般行人重识别所遇到的问题，还要解决图像间模态差异这一问题。

目前跨模态行人重识别可分为两类：基于图像的方法和基于特征的方法。对于基于图像的方法而言，旨在将一个模态图像转移到另一个模态图像。Li等人(D.Li,X.Wei,X.Hong,Y.Gong,Infrared-visible cross-modal person re-identification with an Xmodality,in:Proceedings oftheAAAI Conference onArtificial Intelligence,2020,pp.4610–4617.)设计了一个轻量级共享网络，用于学习可见光图片中模态线索，然后使用这些线索生成中间模态图像。Wang等人(Z.Wang,Z.Wang,Y.Zheng,Y.Chuang,S.Satoh,Learning to reduce dual-level discrepancy for infrared-visible person re-identification,in:Proceedings of the IEEE Conference on ComputerVision andPattern Recognition,2019,pp.618–626.)提出D²RL模型其采用对抗学习的方法提取现出不同模态下行人的模态信息，而后通过生成网络将学习到的模态信息进行相互转移，形成中间模态行人图片，作为额外的模态图片提供给网络进行学习，从而减少模态的差异。但采用对抗学习的方法不仅生成的图片会有特征不连续和语意信息丢失的情况产生，而且会有网络难以收敛的问题产生。