[发明专利]一种基于隐式表征解耦网络的遮挡行人重识别方法及系统

说明书

一种基于隐式表征解耦网络的遮挡行人重识别方法，包括：进行行人图片输入、遮挡样本增强，以及行人图片的预处理；行人特征提取和解耦：用卷积神经网络提取行人图像的紧凑全局特征，并使用Transformer在语义偏好对象查询的引导下，对输入的行人特征解耦，得到行人ID相关特征和ID无关特征；对比特征学习：对行人ID相关的特征与ID无关特征进行相反的判别性约束，将遮挡物及背景噪声从行人特征中分离出来，抑制遮挡对行人匹配的干扰；行人图像检索，使用行人ID相关特征计算查询图像和图像库中图像之间的相似度矩阵并排序，输出排序结果。本发明方法可以自动解耦出行人语义特征同时消除遮挡噪声干扰，在遮挡场景下实现鲁棒的行人特征提取和匹配。

技术领域

本发明涉及数字图像处理领域，尤其涉及一种基于隐式表征解耦网络的遮挡行人重识别方法及系统。

背景技术

行人重识别(PersonRe-identification)是在图片或者视频序列中搜索与查询与目标相匹配的行人的技术。具体来说，给定一个特定行人的监控图像作为查询目标，行人重识别系统需要在海量监控行人图像中搜索跨摄像头拍摄的同一个人的其他图像。随着城市的快速发展和交通摄像网络的完善，行人重识别技术在城市管理与公共安防方面有着巨大的应用前景。在真实的监控场景中，行人图片经常被障碍物遮挡，这给行人匹配造成了严重困难，因此开展精准的带遮挡的行人重识别算法研究具有十分重要的现实意义。

遮挡行人重识别算法主要面临的挑战是遮挡物和背景的干扰和行人身体部位的空间错位。现有带遮挡行人重识别算法大致可以分成两类。第一类方法利用基于不同数据源预训练的外部模型，例如人体的前景分割模型，人体语义解析模型，人体姿态估计模型，对行人图片预处理，产生额外的人体部件标注来区分人体各个部件和遮挡物，精确匹配行人的可见身体部分。这类方法依赖于外部模型提供的监督信息，这些监督信息对遮挡和背景噪声敏感且容易出错，并且生成标签时需要消耗大量时间。第二类方法基于局部图像的相似性对行人身体部分进行对齐然后进行相似度度量。这种方法基于严格且繁琐的行人部位对齐，具有较高的时间复杂度，而且它们不能处理严重的遮挡情况。

发明内容

针对现有的方法需要严格且繁琐耗时的行人身体部件对齐的不足，本发明提供了一种基于隐式表征解耦网络的遮挡行人重识别方法及系统，利用深度自注意力变换网络(Transformer)架构和对比特征学习技术，通过对被遮挡行人图像的局部特征进行全局推理，自动地解耦出具有不同语义的行人部件特征，同时分离遮挡特征和目标行人的特征可实现带遮挡的行人重识别，克服了现有方法需要严格且繁琐耗时的行人身体部件对齐的不足，解决了遮挡物对行人特征提取的干扰的问题。

本发明的技术方案如下：

根据本发明的一个方面，提供了一种基于隐式表征解耦网络的遮挡行人重识别方法，包括以下步骤：S1.进行行人图片输入、遮挡样本增强以及行人图片的预处理；S2.行人特征提取和解耦：用卷积神经网络提取行人图像的紧凑的行人全局特征，并使用深度自注意力变换网络(Transformer)在语义偏好对象查询的引导下，对输入的行人特征解耦，得到行人ID相关特征和ID无关特征；S3.对比特征学习：对行人ID相关特征与ID无关特征进行相反的判别性约束，将遮挡物及背景噪声从行人特征中分离出来，抑制遮挡对行人匹配的干扰；以及S4.行人图像检索：使用行人ID相关特征计算查询图像和图像库中图像之间的相似度矩阵并排序，输出排序结果。

优选地，在上述基于隐式表征解耦网络的遮挡行人重识别方法中，步骤S1包括以下子步骤：D1.遮挡数据的采样及合成：从训练集中选取出一部分遮挡物，构造一个遮挡物集合；以及D2.对输入网络的图片数据进行预处理，预处理包括尺度归一化以及随机水平翻转、随机裁剪和随机擦除。

优选地，在上述基于隐式表征解耦网络的遮挡行人重识别方法中，在子步骤D1中，在训练阶段，使用遮挡物集合对每个批次训练数进行随机遮挡数据增强，遮挡增强数据和原始数据一起作为当前批次的网络输入。