[发明专利]一种基于异构卷积网络的跨域行人再识别方法

说明书

本发明实施例公开了一种基于异构卷积网络的跨域行人再识别方法，该方法包括：构建特征提取模块，利用有标签的源数据库样本对特征提取模块进行预训练；利用预训练的特征提取模块提取无标签的目标数据库训练样本的第一特征；基于第一特征构建图，并构建图卷积模块，得到目标数据库训练样本的第二特征；对第二特征进行聚类，得到目标数据库训练样本的伪标签；构建异构卷积网络，基于损失值对其进行优化，利用优化后的异构卷积网络进行行人识别。本发明利用卷积神经网络和图卷积网络来提取行人样本特征，能够充分学习行人样本的外观特征、结构信息和行人样本间的关联信息，提高了跨域场景下行人再识别模型的准确率。

技术领域

本发明属于计算机视觉、模式识别、人工智能领域，具体涉及一种基 于异构卷积网络的跨域行人再识别方法。

背景技术

近年来，行人再识别被广泛应用于行人取证和安防等领域，它旨在判 断同一身份的行人是否出现在不同的摄像机中，因此可以弥补固定摄像机 视觉范围狭小的限制。然而，由于行人身份和拍摄背景的多样性，使得跨 域场景下的行人再识别十分具有挑战性。

近年来，一些研究者利用无监督的域适应方法有效提升了跨域行人再 识别模型的性能。这类方法通常利用有标签的源数据库和无标签的目标数 据库来训练跨域行人再识别模型。其中，一些研究者利用生成对抗网络来 完成跨域场景下行人图像的风格转换和信息传递。Deng等人利用 cycleGAN将源数据图像转换为目标数据库风格，并利用SiaNet网络为生 成图像保留更多的身份信息。在跨域场景下，Zhong等人利用样本记忆模 块学习域内和域间的三类不变性。另外，一些研究者通过聚类算法为无标 签的训练样本赋标签，使模型能够在有监督的方式下完成训练。例如，Fan 等人提出渐进式无监督学习方法，该方法通过K-means聚类为无标签的训 练样本生成伪标签。Lin等人提出自底向上的聚类方法，该方法首先将每 个行人图像视为不同的类别，然后逐渐地合并相似项以提高类别内的相似性并最大化不同类别间的差异性。

以上提到的跨域行人再识别方法仅考虑单个行人样本的外观特征，而 忽略了行人样本间存在的关联信息，因此并未充分利用行人样本信息。

发明内容

本发明的目的是要解决现有的跨域行人再识别方法无法充分利用样 本间的关联信息而不能得到有效模型的问题，为此，本发明提供一种基于 异构卷积网络的跨域行人再识别方法。

为了实现所述目的，本发明提出的一种基于异构卷积网络的跨域行人 再识别方法包括以下步骤：

步骤S1，基于卷积神经网络构建特征提取模块，并利用有标签的源数 据库样本对所述特征提取模块进行预训练；

步骤S2，利用预训练的特征提取模块提取无标签的目标数据库训练样 本的基于卷积神经网络的第一特征；

步骤S3，基于所述目标数据库训练样本的第一特征构建图，并构建图 卷积模块，得到所述目标数据库训练样本的基于图卷积的第二特征；

步骤S4，利用无监督的聚类算法对所述目标数据库训练样本的第二特 征进行聚类，得到所述目标数据库训练样本的伪标签；

步骤S5，基于所述特征提取模块和图卷积模块构建异构卷积网络，计 算所述异构卷积网络的损失并基于损失值优化所述异构卷积网络，利用优 化后的异构卷积网络对于目标数据库测试样本集中的测试样本进行行人 识别。

可选地，所述步骤S1包括以下步骤：

步骤S11，确定卷积神经网络并对其进行初始化，提取所述卷积神经 网络中全局池化层之前的部分，得到特征提取模块；

步骤S12，为所述特征提取模块增加两个全连接分支，并将交叉熵损 失和三元组损失分别作为所述两个全连接分支的优化函数；

步骤S13，利用有标签的源数据库样本对所述特征提取模块进行有监 督训练，得到预训练的特征提取模块。