[发明专利]一种基于聚类的无监督跨域行人重识别方法

说明书

本发明公开了一种基于聚类的无监督跨域行人重识别方法，首先，将带标签的源域图片输入到定义的网络架构中进行预训练得到baseline模型；然后，将经过风格转换的无标签目标域图像输入到baseline模型中进行特征提取并定义伪标签，接着使用定义的伪标签来细化上一阶段预训练的模型；最后，加载训练好的行人重识别模型，提取待检索图片和目标域的行人图片特征，从目标域中检索最匹配的行人图片并输出。本发明有效提高行人重识别模型在实际生活中的实用性，提升重识别性能，网络性能好，泛化能力强。

技术领域

本发明属于图像识别技术领域，具体涉及一种基于聚类的无监督跨域行人重识别方法。

背景技术

近年来行人重识别在计算机视觉领域得到了非常广泛的研究，目标是给定一张待检索的行人图片，在几个互不重叠的摄像头拍摄的视频中检索该人并输出。现有的行人重识别方法都是基于一个先验条件：所有画面中的行人已被检测框检测出来了，目标域数据集都是被检测框框出来的行人图像。最初的方法依赖于手工提取特征为数据集做标记，不仅费时费力而且性能一直很低。近年来随着深度学习的迅猛发展，行人重识别的性能也得到了很大的提升。深度学习的优势在于卷积神经网络可以自动提取行人特征，计算特征间的距离，判断相似度，经过多次迭代训练增强模型的鲁棒性。最初基于深度学习的行人重识别方法主要关注全局特征，但全局特征通常会忽略一些在识别中很重要的局部信息，比如鞋子、衣服logo、墨镜等。因此有研究者提出了基于局部特征的方法，主要分为两个方面：一种是基于部件的方法，侧重于定位具有特定语义的区域来进行局部表示；另一种是直接将图片进行水平分割的方法。最近基于GAN网络生成和扩充数据集的方法得到了广泛的研究，主要是用于解决不同摄像机之间的风格差异问题，还有一处应用是基于人体姿态变化扩充数据集的，但人体姿态估计大多是根据关键点检测的，由于摄像机拍摄的照片存在对齐、遮挡、光线等问题，并不能精确地对人体的姿态进行估计。

上述提到的大多是基于有监督的学习策略，都是在某一数据集上进行有监督的训练，训练效果在该数据集上比较好，但迁移到其他数据集上就会性能大跌。此外，在实际生活中对大量数据集进行标注费时又费力，基本上是无法实现的，因此近期有研究者提出使用无监督域自适应方法，提高行人重识别模型在无标签的目标训练集上的性能。这里的无监督指的是目标数据集是无标签的，但参考数据集可以有标签。

发明内容

发明目的：本发明提供一种基于聚类的无监督跨域行人重识别方法，有效提高行人重识别模型在实际生活中的实用性，提升重识别性能，网络性能好，泛化能力强。

技术方案：本发明所述的一种基于聚类的无监督跨域行人重识别方法，包括以下步骤：

(1)将带标签的源域图片输入到自定义的网络模型中进行预训练得到baseline模型；

(2)将无标签的目标域图片输入到StarGAN网络中生成相机不变性的新图片，并与目标域图片形成新的训练集；

(3)对新的训练集进行预处理，并输入到步骤(1)训练的baseline模型中提取特征作为每个图像的最终特征表示；

(4)根据步骤(3)生成的特征向量两两计算距离，根据自定义的阈值给一部分行人图像定义伪标签；

(5)根据步骤(4)定义的标签结合聚类算法对目标域图像进行聚类，根据聚类结果为目标域图像重新赋标签；

(6)使用自定义的伪标签作为监督信息和难分样本三元组损失细化步骤(1)中训练得到的baseline模型，每一次迭代都对行人重新标注伪标签，直到稳定；

(7)加载训练好的行人重识别模型，输入待检索图片，提取待检索图片和目标域的行人图片特征，检索最匹配的行人图片并输出。

进一步地，步骤(1)所述的自定义网络模型如下：