[发明专利]一种基于距离选择的强判别特征学习的行人重识别方法

摘要

本发明公开了一种基于距离选择的强判别特征学习的行人重识别方法，属于计算机视觉领域中的图像检索方向，主要结合强判别特征表征行人的整体信息，用一种有效方法解决局部特征的对齐问题，最终结合多类损失联合训练网络。在G‑Net模块中引入中心损失，将多类损失归一到同一球面上，并定性的度量不同类别之间的距离。算法主要包括：数据增强操作、多分支网络三个模块损失函数的设计、解决局部区域未对准可能导致空间语义不一致方法；本文方法联合全局特征与局部特征并结合多种度量学习方法来优化网络参数，并针对局部区域对齐问题提出了一种基于距离选择的强判别特征学习方法，在不增加训练成本的情况下进一步提升检索的精度，使用价值高，可扩展性强。

主权项

1.一种基于距离选择的强判别特征学习的行人重识别方法，所述方法包括：/n步骤1)，选取图像，并缩放裁剪形成训练图片，在transform中采用随机水平翻转或者随机擦除等图像处理手段。每一个训练batch，随机挑选P个ID的行人，每个行人随机挑选K张不同的图片，即一个batch含有P*K张图片。对于batch中的每一张图片，挑选出一个最难的正样本和一个最难的负样本组成一个三元组s,则最终三元组集合记为S；/n步骤2)，设计基于预训练的残差网络架构，在不同层的维度上提取全局特征以及局部特征，在G-Net与L-Net的前三层网络完全共享，在第五层池化层之前和ResNet50架构基本一致，修改最后的训练类别数目C。/n步骤3)，将网络进行样本对的训练。在G-Net中，在pool5层利用全局平均池化输出的特征图，特征用于计算三元组损失，同时结合中心损失，达到同类的聚合在同一球面的效果。接一个归一化层BN，将特征归一化至同一球面，能够平衡三元组损失与分类损失训练不一致的问题，同时利用1x1卷积进行降维处理，将2048维特征降到256维，最后接softmax层做分类损失。/n步骤4)，在L-Net中，在conv4层的最后一个下采样处，步长设置S＝1，即不降低特征图的大小，更利于网络学到更细节的特征。同时在pool5层中的特征图中进行切分成N块，最后对每块降维成256做N个局部分类损失LIL，同时对融合N块局部特征的全局特征在未降维之前做全局分类损失GIL，降维之后做全局三元组损失GTL，该分支对比与G-Net分支结构相同，但是分类损失与三元组损失在全连接层的位置互换，我们对这两部分进行相同的对比实验，并在G-Net中去掉中心损失，实验证明G-Net中在测试阶段归一化后用softmax损失比L-net模块的全局分支效果要好。/n步骤5)，在L-Net中的CA模块中，通过pool5层之后的特征图被全局平均池化分块后，对N块特征归一化至[0,1]，便于选取距离模型矩阵M，得到每个batch中一对三元组中每张图片的N块局部特征，考虑检测算法捕获的行人图像存在的不对齐问题，通过计算局部特征之间的归一化距离来抽象选取最相似的局部做局部三元组损失LTL，来保证正负样例在局部区域的最佳匹配。/n步骤6)，训练过程中，上述多损失同时优化行人重识别网络(L-Net+G-Net)，得到训练完的模型，确立相似性损失、分类损失的权重因子。/n步骤7)，测试阶段中，用上述模型提取测试图片的特征(对比N+2个256维特征与选取G-Net中2048维度的特征做检索各自的效果)，将特征图做欧氏距离，找到距离最近的一张图片，旨在给定一张查询图，能够高准确的检索出最相似的前k张相同ID的图像。/n