[发明专利]基于多视角特征融合的行人重识别方法

说明书

本发明涉及基于多图像特征融合的行人重识别方法，属于计算机视觉的图像检索领域。第一步，利用深度卷积网络对测试集行人图像进行原始的特征提取；第二步，计算特征间的相似度，利用k互近邻构造图；第三步，沿着图进行信息传递，将聚合的特征与原始特征相结合；第四步，计算检测图像与待检测集的相似度，排序得到重识别结果。本发明设计合理，考虑到了不同图像间的信息交互，提高了特征的鲁棒性，从而提高了识别的准确率。

技术领域

本发明属于计算机视觉和行人重识别领域，特别是一种基于多图像特征融合的行人重识别方法。

背景技术

监控网络部署的逐步扩大造成了海量的视频数据需要分析和处理。使用传统人工方式进行处理需要大量的人力与时间。现在越来越多的研究人员将研究方向转移到了计算机视觉技术，尝试利用计算机技术辅助工作人员进行检索和分析，从而提高数据处理的速度与精度。近些年来，深度学习的迅速发展，计算机处理海量数据的能力不断提高。在各类计算机视觉的研究中，越来越多的研究人员将研究重点放在了卷积神经网络上。其中就包括对于监控视频的处理与分析，行人重识别作为图像检索的子问题之一就是其中的一个分支。

行人重识别是指在不同的摄像头视角下，检索指定的行人。实际场景的监控网络包含着处于不同位置的多个摄像头，这些摄像头的拍摄范围往往是不重叠的。其中目标行人的活动轨迹跨越多个摄像头，在时空上具有不连续性。传统的针对单一视角的目标检测和识别技术在这种场景中效果有限，因此需要可以处理跨视角图像的计算机视觉技术对监控视频进行分析。然而行人重识别的主要目的是检索在不重叠摄像头下的行人图像，所以其作为处理监控数据的重要技术得到了工业界与学术界的广泛关注。该技术可以利用行人在不同摄像头下的出现与否，建立移动轨迹，实现跨摄像头的跟踪。另外，行人重识别在智能商业领域也有广泛的应用前景，包括消费者行为分析，兴趣分析等，辅助商家进行商业决策。

除了在工业上具有应用价值，行人重识别在学术界也是一个具有挑战性的课题。许多研究人员在行人重识别课题的研究上投入大量的精力。与人脸识别关注面部不同，行人重识别更注重通过行人的整体外观(包括躯干、服饰等)进行信息提取。研究者通过更鲁棒的特征提取算法与度量算法，提高行人重识别的准确率，进而启发相关技术的研究，推动计算机视觉领域的发展。尽管目前通过深度学习网络与大规模数据集为行人重识别带来了巨大的进展，但是由于视角变化，遮挡等现象，行人重识别仍然是一项具有挑战的课题。

目前行人重识别的研究可以分为特征学习与度量学习两个部分。前者将行人重识别视作分类问题，设计深度神经网络，将行人身份作为标签训练模型，得到对身份具有鲁棒性的特征表示。后者主要将图像间的相似度作为度量，设计损失函数，如三元损失等，通过计算正负样本图像对的相似度，使得同身份的行人图像的相似度小于不同身份的行人图像。从本质上来说，两种方法均对于每一张图像生成一个描述符。

在实现本申请的过程中，发明人发现现有方法存在以下技术问题。目前的行人重识别方法使用卷积神经网络(CNN)生成描述符。然而，这些算法受到CNN的限制，提取的特征只包含单个图像的信息，然而行人重识别中，数据集采集自不同的摄像头视角。不同视角下对同一个人的观察不完全相同，比如背包只能从身后看到，所以即使是统一行人的后视图与正视图会被赋予较低的相似度。因此仅仅单个图像的信息的会使得生成的描述符鲁棒性不足。不同摄像头间的信息存在偏差，该偏差降低了模型的匹配结果的准确率。

发明内容

本发明的目的在于克服现有技术的不足，充分考虑不同摄像头之间信息的差异，提出一种基于多视角特征融合的行人重识别方法，利用消息传递，将同一个行人多个图像的信息相融合，减小信息偏差的影响,从而得到更加鲁棒的特征表示。

本发明解决其技术问题是采取以下技术方案实现的：

步骤1、将测试集全部图像输入深度卷积网络，经过全局池化，对行人图像进行初步的特征提取，输出原始视觉特征，该特征由单个图像提取得到，表示该行人在当前单个摄像头下的视觉信息；