[发明专利]一种基于部件引导图卷积网络的行人再识别方法

说明书

本发明实施例公开了一种基于部件引导图卷积网络的行人再识别方法，该方法包括：构建特征提取模块，得到训练行人图像同一区域的局部特征；构建图卷积模块，得到训练行人图像同一区域的类间和类内局部图卷积特征；构建特征嵌入模块得到两者的串联特征及降维之后的最终特征；构建损失计算模块，利用损失值对于由上述模块组成的行人再识别模型优化，得到最优行人再识别模型；利用最优行人再识别模型计算查询图像和行人库图像的最终特征计算图像之间的相似度，得到行人再识别结果。本发明充分利用卷积神经网络和图卷积网络的优势，学习行人图像的类间局部关系和类内局部关系，最终融合图卷积特征来表示行人图像，进一步提高了行人再识别的匹配正确率。

技术领域

本发明属于计算机视觉、模式识别、人工智能领域，具体涉及一种基于部件引导图卷积网络的行人再识别方法。

背景技术

近年来，行人再识别广泛应用在人体行为分析，多目标识别等领域，因此得到了学术界和工业界的广泛关注。它主要研究在不同摄像机下搜索相同行人的方法。然而由于真实场景中行人姿态、衣着、光照以及摄像机角度变化较大，使得行人再识别技术面临巨大的挑战。

最近，基于部件信息的行人再识别模型性能取得了显著的提升，一些研究人员通过将行人图像或者特征图划分为均匀区域来提取行人的结构信息。Sun等人将特征图划分为一些均匀条并将其池化，从而获得局部特征。Quan等人设计了一个区域-感知模块来学习行人结构信息，该方法首先将特征图划分为若干区域，然后采用注意力机制来学习更详细的区域信息。然而，这些直接划分策略容易造成匹配不精准，因此，Wei等人借助姿态检测技术定位人体四个关键点，然后将行人图像分为三个区域，从而校准局部区域。Guo等人利用人体分析模型来获得语义区域掩膜，然后使用人体区域分支来提取区域对齐特征。除此之外，为了充分利用全局特征和局部特征的优点，一些研究者将其融合来表示行人图像。Li等人设计了联合学习多损失卷积神经网络模型，从而提取全局和局部特征，然后利用联合学习机制来学习局部和全局特征之间的互补信息。Zheng等人提出粗糙-精细金字塔，从而捕捉不同尺度的判别信息，并利用判别损失和三元组损失来学习全局和多尺度局部特征。

以上这些基于区域的行人再识别方法忽视了行人图像间同一区域的类间局部关系和行人图像内不同区域的类内局部关系，削弱了局部特征的表示能力。

发明内容

本发明的目的是要解决行人图像间同一区域的类间局部关系和行人图像内不同区域的类内局部关系无法有效学习的技术问题，为此，本发明提供一种基于部件引导图卷积网络的行人再识别方法。

为了实现所述目的，本发明提出的一种基于部件引导图卷积网络的行人再识别方法包括以下步骤：

步骤S1，利用预训练深度学习模型构建特征提取模块，将训练行人图像输入所述特征提取模块，得到所述训练行人图像的同一区域的P个局部特征；

步骤S2，构建图卷积模块，将所述训练行人图像的同一区域的P个局部特征作为图的节点，构建类间局部图、类间局部图的邻接矩阵、类内局部图和类内局部图的邻接矩阵，利用所述图卷积模块对所述类间局部图和类间局部图的邻接矩阵进行图卷积操作，得到所述训练行人图像的同一区域的类间局部图卷积特征，利用所述图卷积模块对所述类内局部图和类内局部图的邻接矩阵进行图卷积操作，得到所述训练行人图像的同一区域的类内局部图卷积特征；

步骤S3，构建特征嵌入模块，利用所述特征嵌入模块将所述训练行人图像的同一区域的类间局部图卷积特征和类内局部图卷积特征进行串联操作得到串联特征，并利用独立的全连接层对于所述串联特征进行降维操作，得到所述训练行人图像的P个最终特征；

步骤S4，构建损失计算模块，将所述训练行人图像的P个最终特征输入到所述损失计算模块中，利用得到的损失值对于由所述特征提取模块、图卷积模块、特征嵌入模块和损失计算模块组成的行人再识别模型进行优化，得到最优行人再识别模型；