[发明专利]基于人体关键点挖掘全尺度特征的行人重识别性能提升方法

权利要求书

1.基于人体关键点挖掘全尺度特征的行人重识别性能提升方法，其特征在于，包括步骤如下：

步骤1：利用针对人体关键点检测的数据集训练人体关键点检测网络沙漏网络，将行人重识别图片输入到训练完成的人体关键点检测网络沙漏网络得到行人的关键点的热力图；

步骤2：将针对人体关键点检测的数据集中的行人的热力图输入到可见性分类的子网络，训练可见性分类的子网络，将步骤1得到的行人的关键点的热力图输入到训练完成的可见性分类的子网络进行分类，得到每个人体关键点的可见性概率；

步骤3：将行人重识别图片输入到行人重识别网络全尺度网络，得到行人在做全局平均池化前的全局特征；

步骤4：将步骤3得到的全局特征与行人的关键点的热力图相乘，得到得到每个关键点对应的行人特征图，将行人特征图与全局特征输入到后续的全局平均池化得到行人的全局表征与局部表征；

步骤5：在训练过程中，将全局特征与局部特征输入到分类器中得到每个特征对每个行人身份的概率，损失函数是每个特征对每个行人身份的概率与真实概率的交叉熵损失再做加权平均，权重为人体关键点可见性的概率；

在测试过程中，利用步骤4分别得到查询图片与数据库图片的全局表征与局部表征，分别计算两个图片表征的距离，距离是全局表征与局部的欧式距离加权平均得到，局部表征权重为每个人体关键点的可见性概率的归一化。

2.根据权利要求1所述的基于人体关键点挖掘全尺度特征的行人重识别性能提升方法，其特征在于，所述步骤1具体包括如下子步骤：

步骤1.1：训练人体关键点检测网络沙漏网络，将针对人体关键点检测的数据集中的行人数据集根据提供的矩形框裁剪得到每个行人图片，使得沙漏网络能够训练单人关键点检测；

步骤1.2：将步骤1得到的每个行人图片做数据增强，保证图片的尺寸为256×128，数据增加包括：图片翻转、尺寸变换、图片填充；

步骤1.3：将数据增强后的图片输入到人体关键点检测网络沙漏网络，沙漏网络包含多个沙漏模块，利用各沙漏模块捕捉行人的全局信息和局部信息，各沙漏模块组合全局信息和局部信息后对行人的关键点的热力图进行预测，并且将预测的热力图作为下一个沙漏模块的输入，直到完成人体关键点检测网络沙漏网络的训练；

步骤1.4：将行人重识别图片的尺寸变为256×128，然后输入到训练完的人体关键点检测网络沙漏网络，得到行人的关键点的热力图。

3.根据权利要求2所述的基于人体关键点挖掘全尺度特征的行人重识别性能提升方法，其特征在于，所述步骤2具体包括如下子步骤：

步骤2.1：训练可见性分类的子网络，将行人的关键点的热力图输入到可见性分类的子网络卷积层得到热力图的特征，将热力图的特征输入到全连接层，最后通过激活函数将输出约束在0到1范围内，使得可见性分类的子网络的输出表示每个人体关键点对应的可见性概率；

步骤2.2：将可见性概率作为二分类损失函数的输入，关键点可见置为1，不可见置为0；

步骤2.3：将步骤1.4得到的行人的关键点的热力图作为步骤2.2训练完成的可见性分类的子网络的输入，将可见性分类的子网络的输出输入到激活函数得到每个人体关键点的可见性概率。

4.根据权利要求1所述的基于人体关键点挖掘全尺度特征的行人重识别性能提升方法，其特征在于，所述步骤3具体包括如下子步骤：

步骤3.1：将行人重识别图片缩放到相同的尺寸256×128，然后对行人重识别图片通过水平翻转做数据增强；

步骤3.2：将数据增强的图片输入到行人重识别网络全尺度网络，首先利用7×7的卷积网络和最大池化层提取特征，然后将提取的特征输入到4个残差模块得到新的特征，即行人在做全局平均池化前的全局特征。