[发明专利]一种基于多支流融合模型的行人重识别方法

说明书

本发明涉及一种基于多支流融合模型的行人重识别方法，该方法使用深度学习技术，对训练集图片进行翻转、裁剪、随机擦除等预处理操作，然后经过基本网络模型进行特征提取，在使用多个支流损失函数进行融合联合训练网络，在第一、二条支流使用胶囊网络从水平方向和垂直方向来提取不同位置切片的空间关系，第三条支流使用胶囊网络来学习所获得特征图不同通道间的相关关系，第四条支流用于学习全局特征，第五条支流用于进行相应的相似度度量，通过多个支流模型的融合，考虑了不同的分割区域之间的相互关系，能够有效获取水平方向的身体零件特征，进而使网络提取的特征更加有效。

技术领域

本发明涉及计算机视觉领域，尤其是涉及一种基于多支流融合模型的行人重识别方法。

背景技术

行人重识别(Personre-identification)也称行人再识别，是利用相关计算机视觉技术从视角无重叠的摄像头中所获得判断是否存在指定行人的技术，是视频监控领域关键组成部分，最初是作为跨摄像头跟踪的子问题进行研究的。具体地，行人重识别就是在已知目标行人(probe)情况下自动在监控网络其他摄像头所获的图像库(galleryset)中找到尽可能与目标相似的行人并排序。首先计算出待查询图片和图像库中的每张图片的特征向量，之后计算出目标行人和图像库中的特征向量之间的距离，再根据距离大小按照由近到远的顺序进行排序从而得到候选列表，最终选择距离最小的行人类别作为结果返回。

由于实际行人数据采集的不可控，实际图片往往存在以下问题：(1)采集图片分辨率较低且光照条件可能存在较大差异；(2)行人的姿态变化和摄像头视角的变化；(3)可能存在的遮挡。上述问题都给行人重识别任务带来了巨大的挑战。

传统的行人重识别技术主要分为两个方面：特征表达和相似性度量。常用的特征主要包括颜色特征、纹理特征、形状特征以及更高层次的属性特征、行为语意特征等。而对于相似性度量，欧式距离最先被使用，随后一些有监督的相似性判别方法也被提出。

而随着深度学习的发展，基于深度学习模型的方法已经占据了行人重识别的领域，根据所提取的图像特征，可以分为基于全局特征(Global Feature)和基于局部特征(Local Feature)的方法。全局特征指的是整张图片的特征，通常利用卷积神经网络直接进行提取便可以获得全局特征，但是因为行人重识别问题的复杂性，仅仅使用全局特征难以得到一个好的效果，因此局部信息的提取非常重要。单纯的分割行人图片再进行局部信息的提取往往会受到行人姿态变换导致的特征不对齐以及遮挡等问题，而通过学习不同分割区域间的序列关系可以避免这些问题。然而，现有的行人重识别技术都会忽略水平方向的身体零件特征，进而无法得到有效的分辨结果。在这种背景下，开发一种能够有效利用不同方向上的局部信息以及之间的相关关系的行人重识别技术就显得尤为重要。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多支流融合模型的行人重识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于多支流融合模型的行人重识别方法，包括如下步骤：

S1、对基准数据集的图片数据随机进行翻转、加噪声、自动裁剪、随机擦除的数据预处理操作。

S2、采用ResNet50作为基准网络模型，对基准网络模型进行训练。

S3、将步骤S1处理得到的图片数据输入优化及调整后的基准网络模型中，利用多个支流模型的损失函数的融合，联合训练基准网络模型。

S4、对提取出的特征分别两两计算欧式距离，并对计算的欧式距离进行排序，在候选集中选取与查询集中目标距离最近的图片作为识别结果。

将预处理得到的训练集图片输入到调整后且去掉全连接层的ResNet-50中进行特征提取，通过主体特征提取器得到特征图后，将特征图进行不同的重组操作，重组后的特征图分别送入各个支流模型，各个支流模型通过总损失函数监督模型训练。