[发明专利]一种基于投票算法的半监督行人重识别方法

说明书

本发明涉及计算机视觉技术与行人重识别领域，具体涉及一种基于投票算法的半监督行人重识别方法。具体表现为提出了一种用于半监督行人重识别伪标签评估的深层模型。主要想法是使用多个相似或相同的子模型对未标记人物图片的伪标签进行集成学习，并逐渐提高伪标签的可信度，以迭代该模型。本发明通过探索一定层次的视觉特征和未标记目标的伪标签之间的关系来增进模型的匹配性、稳定性，并为了提升伪标签的可信度而提出了多投票模型指导的的特征区分算法和身份挖掘算法。由于大多数目标对是跨视图对，因此开发了跨视图一致的投票机制，以实现在不同的摄影机视图之间，使得伪标签保持良好状态。为了实现有效稳定的的投票算法，本发明引入了新的损失约束，以通过熵减的思想得到稳定的伪标签。

技术领域

本发明涉及计算机视觉技术与行人重识别领域，具体涉及一种基于投票算法的半监督行人重识别方法。

背景技术

由于大型摄像机网络的出现(大学、商场、游乐园等)和日渐提升的公共安全需求，行人重识别任务自然而然地出现了。目前，行人重识别被广泛地应用于安防和寻人领域，被定义为一个跨摄像头检索任务。行人重识别的首要问题是克服在不同摄像头下，由于视角的差异所引入的外观变化，其次保留大量的、精准的细粒度的信息来区分不同的人物身份。一般而言，行人重识别的应用场景场景都是跨域的、少标注的场景。在行人重识别中，被查询图片总是与图片库或者视频库不在同一个领域。拿寻人举个例子，父母提供的拍摄的图片在旋转木马旁边，但是监控的视角等可能对着过山车。这对于根据算法提取的特征图，噪音等都是不同的，带来了巨大的挑战。对于标注问题来说，标注成本是巨大，所以通常会利用已有的数据集进行训练，极大可能使用与目标域不同的源域数据集进行训练，而部署时的目标域与源域之间的差异也会造成巨大的识别问题。因此，标注和跨域成为了阻碍行人重识别任务的重要因素。

近年来，学者们越来越倾向于使用基于卷积神经网络(CNN)的方法来解决行人重识别问题，并取得了良好的性能，比如利用GAN技术补充有限的数据；通过聚类方法解决区域差异问题等等。为了避免人工标记的高成本，无监督学习正变得越来越流行。这些方法可以分为两类，一类是基于伪标签的无监督学习，另一类是UDA引导的无监督学习。关于前者，有学者提出了伪软多标签学习方法，通过标记数据来度量未标记数据等等。关于后者，有研究者将源域和目标域的所有摄像机进行等效对抗，并将未标记目标域的数据以标记平滑的方式分配到源域的类别中用于训练等等。然而，没有标记数据的帮助，很难模拟摄像机视图之间的显著差异。相比之下，对于半监督的行人重识别问题有一个更好的解决方案。

在半监督的行人重识别领域中，有学者提出了一个耦合字典学习模型来模拟摄像机视图中的外观变化。其基本思想是在多个摄像头视图中建立一个与未标记数据相关联的人的代表性字典，并使匹配的图像共享相同的稀疏表示。还有学者提出了一种新的半监督区域度量学习方法，该方法通过标签传播估计正邻域，并使用点度量学习方法将多个正邻域集合形成的正区域组合起来等等。但是这些方法都没有能充分的利用好未标记训练样本并且解决跨域问题，所以本发明提出的一种结合了投票算法和深度度量学习对未标记训练样本生成伪标签的方法是很有必要的。同时，为了提高模型的性能，本发明还针对跨域问题提出了一个跨域损失函数。

发明内容

为了达到更好的行人重识别效果，同时减轻获取数据的难度，本发明提出了一种基于投票算法的半监督行人重识别深度学习方法。该方法只需要很少的标记数据进行预训练，然后利用集成学习中的投票算法来推断伪标签，并逐次进行迭代以求获得较为稳定的伪标签表示；之后通过获得的伪标签表示，进行样本挖掘，进一步提升网络效率，同时本发明加入了针对跨摄像头的惩罚项，以求达到更好的跨摄像头性能。

在本发明中，主要由有监督部分，无监督部分组成。有监督学习部分主要介绍了如何使用有标签的数据优化特征提取网络。无监督部分主要介绍了提出的投票算法，分为亲和力矩阵、亲和力矩阵指导的硬样本挖掘、投票损失约束、跨域惩罚四大部分。

具体说明如下：

第一部分，有监督部分：