[发明专利]一种基于多支流融合模型的行人重识别方法

权利要求书

1.一种基于多支流融合模型的行人重识别方法，其特征在于，该方法包括下列步骤：

1)对基准数据集的图片数据随机进行翻转、加噪声、自动裁剪、随机擦除的数据预处理操作；

2)采用ResNet50作为基准网络模型，对基准网络模型进行训练；

3)将步骤1)处理得到的图片数据输入优化及调整后的基准网络模型中，利用多个支流模型的损失函数的融合，联合训练基准网络模型；

4)对提取出的特征分别两两计算欧式距离，并对计算的欧式距离进行排序，在候选集中选取与查询集中目标距离最近的图片作为识别结果，具体内容为：

将预处理得到的训练集图片输入到调整后且去掉全连接层的ResNet-50中进行特征提取，通过主体特征提取器得到特征图后，将特征图进行不同的重组操作，重组后的特征图分别送入各个支流模型，各个支流模型通过总损失函数监督模型训练；

各个支流模型包括五条基于胶囊网络的支流模型，第一条支流模型通过胶囊网络从水平方向提取特征图中不同位置切片的空间关系，第二条支流模型通过胶囊网络从垂直方向提取特征图中不同位置切片的空间关系，第三条支流通过胶囊网络学习所获得特征图中不同通道间的相关关系，第四条支流学习特征图的全局特征，第五条支流获取特征图中相应的相似度度量。

2.根据权利要求1所述的一种基于多支流融合模型的行人重识别方法，其特征在于，第一、二、三、四支流选取在线实例匹配损失作为多分类损失。

3.根据权利要求2所述的一种基于多支流融合模型的行人重识别方法，其特征在于，在线实例匹配损失采用x表示批数据中有行人图像的特征，同时利用查询表存储所有类别的行人特征，在前向传播的过程中，计算出特征图批数据中样本和所有带标签行人的余弦相似度，在反向传播时，若目标对应的为第t类行人，则更新查询表对应的第t行，并进行归一化。

4.根据权利要求3所述的一种基于多支流融合模型的行人重识别方法，其特征在于，特征向量x被视为第j类行人的概率p_j为：

其中，为查询表第j列的转置，为查询表第i列的转置，其中τ为概率分布平缓程度，Q和L分别为队列的大小和查询表的行数。

5.根据权利要求2所述的一种基于多支流融合模型的行人重识别方法，其特征在于，第五条支流上采用改进的批量难样本损失获取三元组损失。

6.根据权利要求5所述的一种基于多支流融合模型的行人重识别方法，其特征在于，多支流融合模型通过一个三元组损失函数和四个在线实例匹配损失共同监督训练。

7.根据权利要求6所述的一种基于多支流融合模型的行人重识别方法，其特征在于，网络的总损失函数L_total的表达式为：

式中，λ_r为平衡各支流损失的权重参数，r＝1,2,3,4,5；为第q个支流所对应的分类损失，q＝1,2,3,4，L_T-batch为批量难样本损失函数。