[发明专利]联合全局和局部信息的层次监督行人再识别方法及系统

说明书

本发明给出了一种联合全局和局部信息的层次监督行人再识别方法和系统，包括将输入图像切成多个图像小块，将图像小块作为Transformers分支网络的输入；将部分Transformers分支网络的网络快的特征信息通过expand层后引入ResNet50分支网络中对应的残差卷积块，expand层将2D张量拓展为4D张量；将拓展后的4D张量特征信息和对应的残差卷积块进行通道级联；将Transformers分支通过expand层转换后的特征和对应的ResNet50特征经过双线性池化层，进行特征融合交互，并通过损失函数进行约束。本发明提出的方法和系统执行一个单向聚合操作来推动CNN学习全局特征信息的同时，为了能充分利用全局特征信息和局部信息，结合双线性池化来执行层次监督，在跨长时间段的行人重识别数据集上有很显著的性能提升。

技术领域

本发明涉及计算机视觉的技术领域，尤其是联合全局和局部信息的层次监督行人再识别方法和系统。

背景技术

行人重识别是计算机视觉中一个典型的任务，其目的在不同摄像机视角下关联同一个人行人。在近几年随着监控系统在公共场所的广泛部署，行人重识别技术近年来受到越来越多的关注。行人重识别依靠着CNN强大的特征学习能力，获得许多先进显著的性能。然而，在实际场景下，行人的衣服着装是会发生变化的，这是目前行人重识别算法所忽略的问题。因此，现有的行人重识别算法针对的场景是短时间的，其行人外观着装变化不大。

由于行人姿态变换、视角变化、光照强度变化、背景干扰等因素的影响，行人重识别是一个具有挑战性的任务。对于跨长时间段的场景，外观变化可以看作是影响行人重识别系统性能的主要因素之一。

目前行人重识别还是主要针对研究短时间的场景，忽略了跨长时间段的场景。然而，在现实应用中，跨长时间段的行人重识别算法是一个主要的方法。对于跨长间段的场景，不但要考虑行人身上局部的细节信息，还要考虑图像中的全局信息，两种信息需要相辅相成。现有的行人重识别(re-ID)工作主要集中在短时间(short-term)情况下，行人着装基本不会有太大的变化。一个鲁棒的行人重识别系统应该考虑到行人着装这些变化。基于深度卷积神经网络(CNN)强大的表征能力，短时间的行人重识别获得了多项最先进的性能(Top-1和mAP)。然而，由于缺乏全局特征信息，现有的短时间行人重识别方法不能推广到跨长时间段(long-term)的行人重识别场景。

发明内容

为了解决现有技术中行人重识别(re-ID)工作主要集中在短时间(short-term)情况下，行人着装基本不会有太大的变化，由于缺乏全局特征信息，现有的短时间行人重识别方法不能推广到跨长时间段(long-term)的行人重识别场景等技术问题，本发明提出了一种联合全局和局部信息的层次监督行人再识别方法和系统，以解决上述技术问题。

根据本发明的第一方面，提出了一种联合全局和局部信息的层次监督行人再识别方法，包括：

S1：将输入图像切成多个图像小块，将图像小块作为Transformers分支网络的输入；

S2：将部分Transformers分支网络的网络快的特征信息通过expand层后引入ResNet50分支网络中对应的残差卷积块，expand层将2D张量拓展为4D张量；

S3：将拓展后的4D张量特征信息和对应的残差卷积块进行通道级联；

S4：将Transformers分支通过expand层转换后的特征和对应的ResNet50特征经过双线性池化层，进行特征融合交互，并通过损失函数进行约束。

在一些具体的实施例中，Transformers分支网络包括12块同样结构的网络块，网络块的序号编号为0-11，输入图像被切为N个图像小块，其中，P和S的取值均为16，代表向下取整函数，H和W表示高度和宽度。Transformers可用于获取图像中全局的特征依赖关系。