[发明专利]基于人体关键点挖掘全尺度特征的行人重识别性能提升方法

说明书

本发明公开了一种基于人体关键点挖掘全尺度特征的行人重识别性能提升方法，利用人体关键点作为行人的局部特征，缓解遮挡情况下的行人的全局特征判别性不足的问题，将由人体关键点网络得到的关键点热力图结合到行人重识别网络，增加局部特征。同时，对关键点预测可见性，将可见性应用到损失函数与特征距离计算中，缓解不可见的局部特征对网络性能的负面影响。实验结果表明本发明提出的方法有效提升了行人重识别的准确率。

技术领域

本发明涉及一种行人重识别技术，属于计算机视觉图像检索技术领域。

背景技术

行人重识别(Person re-identification,ReID)是解决跨摄像头和跨场景下行人的识别与检索问题。给定目标行人图片，从其他摄像头拍摄得到的行人图片库中找到最匹配的行人。因为摄像头之间存在盲点，导致利用目标跟踪无法得到行人完整的轨迹。所以需要行人重识别匹配两个摄像头之间的行人，如果可以结合时间戳，可以大大减少匹配的图片数量。行人重识别可以看作图片检索的技术，主要针对行人的检索。行人重识别相比于人脸识别对场景的约束较少，因此更适合安防场景下的应用。

早期的行人重识别算法都是基于手工提取特征的算法，首先利用人工设计的特征提取模板提取行人的特征，常用的特征有颜色特征、纹理特征、局部特征和语义特征，然后通过合适的度量公式如马氏距离等计算查询图片的特征与候选图片特征之间的距离，最后可以判断候选图片是否与查询图片匹配。传统的算法的核心点是设计更具有判别性的行人特征与更合适的度量学习。

随着深度学习的发展，越来越多的计算机视觉任务采用深度学习处理并且取得了极大的成功。在行人重识别领域，深度学习的方法也远优于基于手工提取特征的行人重识别算法。因此，近些年深度学习成为行人重识别领域的主流研究算法。目前行人重识别的主流算法包括基于表征学习的方法，基于局部特征的方法，基于生成对抗网络的方法和基于度量学习的方法。

发明内容

发明目的：针对上述现有技术，提出一种基于人体关键点挖掘全尺度特征的行人重识别性能提升方法，解决行人重识别中行人被遮挡的问题。

技术方案：基于人体关键点挖掘全尺度特征的行人重识别性能提升方法，包括步骤如下：

步骤1：利用针对人体关键点检测的数据集训练人体关键点检测网络沙漏网络，将行人重识别图片输入到训练完成的人体关键点检测网络沙漏网络得到行人的关键点的热力图；

步骤2：将针对人体关键点检测的数据集中的行人的热力图输入到可见性分类的子网络，训练可见性分类的子网络，将步骤1得到的行人的关键点的热力图输入到训练完成的可见性分类的子网络进行分类，得到每个人体关键点的可见性概率；

步骤3：将行人重识别图片输入到行人重识别网络全尺度网络，得到行人在做全局平均池化前的全局特征；

步骤4：将步骤3得到的全局特征与行人的关键点的热力图相乘，得到得到每个关键点对应的行人特征图，将行人特征图与全局特征输入到后续的全局平均池化得到行人的全局表征与局部表征；

步骤5：在训练过程中，将全局特征与局部特征输入到分类器中得到每个特征对每个行人身份的概率，损失函数是每个特征对每个行人身份的概率与真实概率的交叉熵损失再做加权平均，权重为人体关键点可见性的概率；

在测试过程中，利用步骤4分别得到查询图片与数据库图片的全局表征与局部表征，分别计算两个图片表征的距离，距离是全局表征与局部的欧式距离加权平均得到，局部表征权重为每个人体关键点的可见性概率的归一化。

进一步的，所述步骤1具体包括如下子步骤：

步骤1.1：训练人体关键点检测网络沙漏网络，将针对人体关键点检测的数据集中的行人数据集根据提供的矩形框裁剪得到每个行人图片，使得沙漏网络能够训练单人关键点检测；