[发明专利]基于归一化和特征增强的跨域行人重识别方法

说明书

本发明属于行人重识别技术领域，尤其涉及基于归一化和特征增强的跨域行人重识别方法，包括建立识别网络模型、图像特征归一化、图像特征恢复、图像特征输出。本技术方案在不使用目标域数据的基础上能够有效抑制域间隙并增强行人判别特征，进而增强识别网络模型的泛化能力；借助残差连接思想使得实例归一化既能抑制风格差异又能防止信息的丢失，以此使提取到的特征具有域不变性的同时保持判别力；通过注意力单元CAB将空间信息融入通道中，并通过构建通道间的依赖关系自适应地调整各通道的特征权重，有效增强了行人特征。

技术领域

本发明属于行人重识别技术领域，尤其涉及基于归一化和特征增强的跨域行人重识别方法。

背景技术

跨域行人重识别是指利用计算机视觉技术在不同域上的大规模图像或视频数据中检索目标行人。理想的跨域行人重识别模型能“一次训练，任意测试”，即只使用收集的源域数据训练模型，而后训练好的模型在其它任意目标域上都能取得良好的重识别效果。然而，数据集之间往往存在着巨大的域间隙，严重阻碍模型从源域到目标域的泛化，也是跨域行人重识别性能难以提升的主要原因。

由于不同数据域之间必然存在域差异，所以目前许多先进的重识别算法虽然在单个数据集上测试时能取得很好的表现，但是其泛化到另一个数据域的能力却很差。为了尽量提高模型的泛化能力，近几年出现了许多跨域行人重识别方法，力求使模型更好的适应目标域。通常的做法是先收集一部分目标域的数据，使用某种聚类算法将提取到的特征进行聚类生成伪标签，最后利用生成的伪标签训练模型，更新模型参数，迭代进行上述步骤直至收敛。虽然许多跨域行人重识别方法确实有效提升了模型的泛化能力，但是目标域数据的收集同样是费时费力的，在实际应用中甚至根本无法收集目标域的数据。

具体的，在跨域行人重识别模型中，数据集的域间隙主要是在数据收集过程中引入的，比如：收集时间不同会导致图像亮度上存在差异、收集地点不同会导致图像背景差异。这些不同的风格差异使得不同域中的数据分布不同，进而导致重识别任务的复杂化。目前，迁移学习是解决模型泛化问题的主流手段之一，具体而言是将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中，图像风格转换(风格迁移)是图像领域中的迁移学习方法，因其能够有效的解决因图像风格差异所导致的模型泛化问题，研究者们将其广泛应用于跨域行人重识别任务中。基于生成对抗网络(GAN)进行风格迁移的方法在模型训练过程需要使用目标域数据，将增加额外的收集成本和训练成本，实例归一化(IN)被用于风格归一化，其执行一种形式的样式规范化以调整网络的特征统计。然而IN会稀释特征响应的全局统计量所携带的信息，显然，在行人重识别任务中引入IN可以将图像风格归一化抑制域间差异，但是其过程一定会丢失一些判别信息。

为提升模型泛化能力，利用注意力机制增强行人特征同样是一种有效手段，注意力机制使得模型能够专注于感兴趣的区域，其通常分为空间注意力和通道注意力。空间注意力利用特征间的空间关系生成空间注意力权重，以此在空间维度上定位所关注的行人信息；通道注意力通过对各通道的依赖性进行建模以提高网络的表示能力。通常不同的注意力用于不同的任务，研究者们在特定任务中需要将其搭配使用，但是简单的叠加使用造成了一定的冗余，浪费了计算资源。

发明内容

本发明根据现有技术存在的问题，提供基于归一化和特征增强的跨域行人重识别方法，该方法可以在不使用目标域数据的基础上有效抑制域间隙并增强行人判别特征，进而增强模型的泛化能力。

具体通过以下技术方案实现：

基于归一化和特征增强的跨域行人重识别方法，其特征在于，包括建立识别网络模型、图像特征归一化、图像特征恢复、图像特征输出；

所述建立识别网络模型，包括建立具有实例归一化单元IN(InstanceNorma1ization)、残差权重训练单元CMS和注意力单元CAB的归一化增强模块NEM，并以ResNet50模型为主干网络，将归一化增强模块NEM插入到ResNet50模型中，构成识别网络模型；

所述图像特征归一化包括以下步骤：