[发明专利]一种基于联合距离矩阵与混合对比损失的行人重识别方法

说明书

本发明涉及图像处理技术领域，尤其涉及一种基于联合距离矩阵与混合对比损失的行人重识别方法，包括获取行人图片并进行预处理；使用实例级内存字典中的特征并结合相机偏移距离矩阵计算联合距离矩阵；然后采用DBSCAN算法进行聚类，生成伪标签；从训练样本中选取一定数量的查询样本输入到主干网络中提取查询样本的特征，用来与聚类内存字典中的特征进行混合对比损失的计算；提取全局平均池化层的特征，并使用欧氏距离进行检索。本发明通过设计一个联合距离矩阵引导相机感知聚类，缓解相机差异的影响，使得不同相机下的同一身份的图像更容易聚类；同时，使用混合对比损失策略，能够有效的利用样本之间的聚类信息，提升模型的性能。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于联合距离矩阵与混合对比损失的行人重识别方法。

背景技术

近年来，自监督对比学习因其在无监督表征学习中的有效性而受到越来越多的关注，无监督方法的性能也依赖于特征表示学习。最近，先进的行人重识别方法使用内存字典来存储所有的实例特征，利用聚类生成的伪标签，并结合对比学习，取得了优异的性能。根据利用监督信息的方式不同，可以将对比学习分为两种：实例级对比学习和聚类级对比学习。

实例级对比学习依赖于样本的增强信息，它将每一个样本视为一个单独的类，并通过匹配利用不同数据扩充方法扩充的图像学习特征，但是在行人重识别数据集中，每一个类中不止一个正样本数据，因此这会导致每个类的更新进度不一致。另外，使用实例级对比损失，它挖掘的是每个样本的自监督信息，而没有充分考虑样本之间的结构性和相关性信息(如聚类信息)。对于聚类级对比学习，虽然获得了结构性信息和相关性信息，但是这对负样本数据而言，引入了过多的额外的结构性信息，而这种信息在实际应用中又是无用的。

在行人重识别任务中，相机差异是一个重要的影响因素。在行人重识别数据集中，不同摄像机拍摄的行人图像具有不同的姿势、光照、分辨率等。换句话说，即使属于同一个身份的行人图像，由于相机之间的差异，会导致两个实例之间存在严重的差异，尤其是在无监督场景下的重识别任务中，相机差异会影响伪标签的准确率。之前的一些工作中，考虑到相机差异因素的影响。虽然做了各种各样的尝试，但是如何在无监督场景下缓解伪标签的影响仍然是一个有待探索的问题。

发明内容

针对现有算法的不足，本发明通过设计一个联合距离矩阵引导相机感知聚类，缓解相机差异的影响，使得不同相机下的同一身份的图像更容易聚类；同时，使用混合对比损失策略，能够有效的利用样本之间的聚类信息，提升模型的性能。

本发明所采用的技术方案是：一种基于联合距离矩阵与混合对比损失的行人重识别方法包括以下步骤：

步骤一、获取行人图片数据集，并对图像进行预处理；

进一步的，预处理包括：进行随机数据增强，统一图片分辨率，将无标签行人图像输入特征提取模型中，确定行人图像的初始特征，并将提取到的特征存储到实例内存字典中；

进一步的，特征提取模型是通过深度残差网络Resnet50模型来提取行人图片的特征。

步骤二、使用实例级内存字典中的特征并结合相机偏移距离矩阵来计算联合距离矩阵；然后采用DBSCAN算法进行聚类，生成伪标签；

进一步的，具体包括：

步骤21、将每个训练样本对应的摄像机ID表示为其中，N表示训练数据集中行人样本的个数，cam_i表示当前第i个训练样本对应的相机标签，设置一个摄像机域偏移矩阵M^cam∈N_cam×N_cam，N_cam表示摄像机的数量；

步骤22、通过原始距离矩阵M_i,j和偏移矩阵M^cam计算出一个联合距离矩阵

进一步的，原始距离矩阵M_i,j的计算公式为：