[发明专利]一种基于距离选择的强判别特征学习的行人重识别方法

权利要求书

1.一种基于距离选择的强判别特征学习的行人重识别方法，所述方法包括：

步骤1)，选取图像，并缩放裁剪形成训练图片，在transform中采用随机水平翻转或者随机擦除等图像处理手段。每一个训练batch，随机挑选P个ID的行人，每个行人随机挑选K张不同的图片，即一个batch含有P*K张图片。对于batch中的每一张图片，挑选出一个最难的正样本和一个最难的负样本组成一个三元组s,则最终三元组集合记为S；

步骤2)，设计基于预训练的残差网络架构，在不同层的维度上提取全局特征以及局部特征，在G-Net与L-Net的前三层网络完全共享，在第五层池化层之前和ResNet50架构基本一致，修改最后的训练类别数目C。

步骤3)，将网络进行样本对的训练。在G-Net中，在pool5层利用全局平均池化输出的特征图，特征用于计算三元组损失，同时结合中心损失，达到同类的聚合在同一球面的效果。接一个归一化层BN，将特征归一化至同一球面，能够平衡三元组损失与分类损失训练不一致的问题，同时利用1x1卷积进行降维处理，将2048维特征降到256维，最后接softmax层做分类损失。

步骤4)，在L-Net中，在conv4层的最后一个下采样处，步长设置S＝1，即不降低特征图的大小，更利于网络学到更细节的特征。同时在pool5层中的特征图中进行切分成N块，最后对每块降维成256做N个局部分类损失LIL，同时对融合N块局部特征的全局特征在未降维之前做全局分类损失GIL，降维之后做全局三元组损失GTL，该分支对比与G-Net分支结构相同，但是分类损失与三元组损失在全连接层的位置互换，我们对这两部分进行相同的对比实验，并在G-Net中去掉中心损失，实验证明G-Net中在测试阶段归一化后用softmax损失比L-net模块的全局分支效果要好。

步骤5)，在L-Net中的CA模块中，通过pool5层之后的特征图被全局平均池化分块后，对N块特征归一化至[0,1]，便于选取距离模型矩阵M，得到每个batch中一对三元组中每张图片的N块局部特征，考虑检测算法捕获的行人图像存在的不对齐问题，通过计算局部特征之间的归一化距离来抽象选取最相似的局部做局部三元组损失LTL，来保证正负样例在局部区域的最佳匹配。

步骤6)，训练过程中，上述多损失同时优化行人重识别网络(L-Net+G-Net)，得到训练完的模型，确立相似性损失、分类损失的权重因子。

步骤7)，测试阶段中，用上述模型提取测试图片的特征(对比N+2个256维特征与选取G-Net中2048维度的特征做检索各自的效果)，将特征图做欧氏距离，找到距离最近的一张图片，旨在给定一张查询图，能够高准确的检索出最相似的前k张相同ID的图像。

2.根据权利要求1所述的基于距离选择的强判别特征学习的行人重识别方法，其特征在于：步骤1)中在网络对选取的P*K张图像做resize处理，并使用随机擦除的手段防止过拟合以及使用插值的方法实现图片的缩放，从而保持图片不发生形变失真。

3.根据权利要求1所述的基于距离选择的强判别特征学习的行人重识别方法，其特征在于：步骤2)中利用ImageNet上预训练的网络模型，模型结构利用残差网络ResNet50，修改网络模型的最后两层，调整成适合行人重识别所用数据集的训练类别数。并根据G-Net与L-Net选择修改pool5层的stride的大小。

4.根据权利要求1所述的基于距离选择的强判别特征学习的行人重识别方法，其特征在于：步骤3)与4)中确定损失函数的权重因子，融合多种损失优化网络，同时注意为方便特征计算，改变维度特征，从2048维做成256维，降维之后更快更有效。在测试的时把L-Net中的这八个256维的特征串连一个2048的特征，在对比实验中用这个2048维度的特征代表图片特征做检索。