[发明专利]一种基于无监督跨摄像机聚类对比行人重识别方法

说明书

本发明属于机器视觉的技术领域，公开了一种基于无监督跨摄像机聚类对比行人重识别方法，包括以下步骤：步骤一、通过摄像机标准化处理将训练集的图像转换为由同一标准摄像机拍摄得到的图像，利用带有CIBN层的卷积神经网络进行特征提取，然后对提取的特征进行聚类分析，生成伪标签，并保存在字典中，所述CIBN层设置为线性融合的BN层和IN层，以替代卷积神经网络中原有的BN层，提升整个卷积神经网络的泛化性；步骤二、对待检图像先进行摄像机标准化处理，再用带有CIBN层的卷积神经网络进行特征提取，然后对提取的特征进行聚类分析，最后将聚类分析的结果与字典里的类别做比较，输出检测结果。

技术领域

本发明属于机器视觉的技术领域，具体涉及一种基于无监督跨摄像机聚类对比行人重识别方法。

背景技术

行人重识别(REID)旨在匹配从非重叠摄像机网络收集的数据库中给定的查询人员，由于强大的CNN，有监督REID的研究取得了巨大进展，但是有监督带来的问题就是巨大的人力成本花费在给样本注释，为了减轻昂贵的id注释要求，目前最先进的无监督方法是利用内存字典和聚类操作中的伪标签来训练神经网络。在每个流程开始时利用当前的神经网络提取训练数据的所有图像特征，并将这些储存在储存器中的图像特征作为字典，然后，通过聚类算法，如DBSCAN或者K-means对图像特征进行聚类并生成伪标签，聚类完生成id并分配给每个图像作为个人Id身份，最后使用对比损失中的三重损失、infoNCE loss或基于记忆字典的交叉熵损失函数分类对神经网络进行训练。

尽管这些通过生成伪标签与训练样本对比的方法取得了显著的性能，但是无监督与有监督学习之间仍然存在很大的差距，这限制了无监督在实际场景中的应用。因为大多数伪标签预测算法都有着同一个相似的标准，即首先计算样本相似性，然后将聚类识别的相似样本分配给相似标签，计算的样本相似性很大程度上决定了REID的准确性，尤其是来自不同摄像机的样本，每个样本身份都可以有不同参数和环境的多个摄像机拍摄，相同身份的特征比不同身份的特征更接近。要从所有的摄像机中学习身份之间的关系，有两个不同的目标:学习同一摄像机中的身份之间的关系和学习跨摄像机的身份关系，然而，这两个目标之间存在矛盾，处理摄像机之间的分布差距对于摄像机之间的身份匹配至关重要，但在单个摄像机中学习要容易得多，因此，传统的ReID方法主要侧重于关联不同的摄像机，这需要昂贵的摄像机间注释。此外，在训练集上学习后，部分学习到的知识与这些特定摄像机之间的连接有很强的相关性，使得模型在由看不见的摄像机组成的场景下泛化较差，在一个数据集上学习的ReID模型描述其他数据集图像的能力往往有限，即跨数据集泛化能力有限。

发明内容

本发明提供了一种基于无监督跨摄像机聚类对比行人重识别方法，解决了现有无监督模型不令人满意的泛化能力和过度依赖相机间的注释等技术问题。

本发明可通过以下技术方案实现：

一种基于无监督跨摄像机聚类对比行人重识别方法，包括以下步骤：

步骤一、通过摄像机标准化处理将训练集的图像转换为由同一标准摄像机拍摄得到的图像，利用带有CIBN层的卷积神经网络进行特征提取，然后对提取的特征进行聚类分析，生成伪标签，并保存在字典中，所述CIBN层设置为线性融合的BN层和IN层，以替代卷积神经网络中原有的BN层，提升整个卷积神经网络的泛化性；

步骤二、对待检图像先进行摄像机标准化处理，再用带有CIBN层的卷积神经网络进行特征提取，然后对提取的特征进行聚类分析，最后将聚类分析的结果与字典里的类别做比较，输出检测结果。

进一步，利用如下公式对各个原始摄像机拍摄的图像进行摄像机标准化处理

其中，PA(.)表示特征分布对准，表示摄像机标准化处理后输出的标准图像，表示原始摄像机i拍摄得到的图像，δ(c)表示原始摄像机i的估计对准参数。

进一步，所述CIBN层的函数模型设置如下