[发明专利]基于域不变特征的跨域行人重识别装置及其方法

说明书

本发明公开了基于域不变特征的跨域行人重识别装置及其方法，由于实例归一化可以将原始进行归一化，减少样本间差异，但同时会过滤掉一些行人身份相关信息和行人重识别判别信息。为解决这一问题，本发明提出了注意力和风格归一化模块用于恢复所丢失行人身份相关信息和行人重识别判别信息；具体实现时，在域不变特征提取网络的残差模块之后设置跨域行人重识别装置（即注意力和风格归一化模块ASN），用于恢复所丢失行人身份相关信息和行人重识别判别信息，以便将最后输出的图像域不变特征用于后续的分类器中进行行人重识别。

技术领域

本发明涉及计算机视觉领域中的行人重识别技术领域，具体的说，是基于域不变特征的跨域行人重识别装置及其方法。

背景技术

行人重识别也称行人再识别，是利用计算机视觉技术在跨设备、时间和地点的条件下判断图像或者视频序列中是否存在特定行人的技术。因其能够对特定人员进行大范围跟踪监控，当前广泛应用于智能监控，智能安保等领域。

对于如何提高行人重识别模型的性能，已经提出了很多的方法。在最新研究中行人重识别算法的性能已经达到很高，然而如此强大的性能是建立在使用单域的基础上。一旦将这些训练好的模型放在不同数据集上进行测试时，其性能就会大幅下降。不同域之间往往存在着巨大的差异，比如亮度、色调、分辨率，背景，行人服装风格等等，这些差异对模型的泛化能力提出了巨大的考验。降低不同域之间的差异性可以提高行人重识别算法的跨域性能。

目前，降低不同域之间差异性的方法主要有三种：第一种是去除数据集之间的风格差异，风格迁移中常用的实例归一化(IN)对每个样本和每个通道进行归一化，减少样本间的风格差异，提高模型的泛化能力。但是将每个样本进行独立的归一化不可避免地会丢失一些样本间的共性和一些有辨别性的信息，这对重识别是极其不利的。第二种是无监督域自适应(UDA)方法，基于UDA的行人重识别方法可以大致分为三类：风格转移、属性识别和目标域伪标签估计。UDA模型使用未标记的目标域数据进行更新，解放了标记工作。然而，这需要目标数据的收集和模型更新，增加了额外的成本。第三种是领域泛化(DG)，DG旨在设计可推广到以前未见过的领域的模型，无需访问目标领域数据和标签，也无需更新模型。然而，行人重识别是一个开放集问题，其中目标域通常与源域有不同的实体，因此一般的DG方法不能直接应用于行人重识别。

由于不同数据域之间必然存在域差异，所以目前许多先进的重识别算法虽然在单个数据集上测试时能取得很好的表现，但是其泛化到另一个数据域的能力却很差。为了尽量提高模型的泛化能力，近几年出现了许多跨域行人重识别方法，力求使模型更好的适应目标域。通常的做法是先收集一部分目标域的数据，使用某种聚类算法将提取到的特征进行聚类生成伪标签。最后利用生成的伪标签训练模型，更新模型参数，迭代进行上述步骤直至收敛。虽然许多跨域行人重识别方法确实有效提升了模型的泛化能力，但是目标域数据的收集同样是费时费力的，在实际应用中甚至根本无法收集目标域的数据。

现有技术针对跨域行人重识别的方法，提出了一种使用结合实例归一化(IN)和批量归一化(BN)优势的IBN-Net的方法。通常实例归一化用于处理底层视觉任务，比如图像风格化，而批量归一化用于处理高层视觉任务，比如目标检测，图像识别等。IBN-Net首次将实例归一化和批量归一化集成起来，同时提高了模型的学习能力和泛化能力。方法如下：

IBN-Net设计原则是：(1)在网络的浅层同时使用实例归一化和批量归一化；(2)在网络的深层仅仅使用批量归一化。

如图1所示，IBN-Net有两种结合实例归一化和批量归一化的方式，IBN-a和IBN-b。作为提升跨域行人重识别泛化能力的结构，IBN通常加在残差网络(ResNet)中。ResNet由4组残差块组成，在IBN-Net的改进中，仅仅在Conv2_x,Conv3_x,Conv4_x三个块中加入IN，Conv5_x不进行改动。

发明内容