[发明专利]基于姿态归一化图像生成的行人重识别方法

说明书

本发明属于计算机图像识别技术领域，具体为基于姿态归一化图像生成的行人重识别方法。本发明的具体步骤包括：行人平均姿态和属性特征的预测；姿态归一化图像生成模型的构建、训练和测试，生成8张不同姿态的行人图像；行人重识别特征提取网络的构建、训练和测试，得到行人重识别特征；最后行人重识别特征融合，获得待检测行人目标以及所有候选行人目标的特征。本发明方法具有速度快、精确度高、鲁棒性好、泛化能力佳、可扩展性强等优点，非常适用于视频行人监控、视频行人信息检索等实际应用。

技术领域

本发明属于计算机图像识别技术领域，具体涉及基于姿态归一化图像生成的行人重识别方法。

背景技术

行人重识别任务旨在通过两个不相交的摄像头对行人进行识别匹配。行人的外观表现可以因为姿态、光照、遮挡、视角等因素的改变而发生巨大的变化，这也为行人重识别问题带来了严峻的挑战。在这些影响因素中，姿态因素带来的改变最为直接、明显，也显得尤为重要。

一方面，随着深度学习热潮的掀起，越来越多的计算机视觉任务开始使用深度学习方法来解决，包括行人重识别任务。近几年提出的解决行人重识别任务的深度学习方法都包含一个基本的思想就是通过“观看”大量的行人图片来“学习”提取具有识别能力，但是对姿态、视觉变化具有不变性的特征。然而，这些方法都具有一定的局限性。首先，其不具有扩展到大型监控网络的能力。现有的模型方法要求大量的带身份标注的行人训练数据，但是对大型监控网络拍摄的图片数据进行身份标注是一件工程量浩大的事情；其次，其对新的监控网络网不具有很好的泛化性 通常地，一个训练好的模型只适用于具有相同参数的监控摄像拍摄的行人图片识别任务，对于新的监控网络，若要保证较高的识别精度，必须对网络参数重新进行微调。

另一方面，假设具有丰富的带标注信息训练样本，现有的深度模型仍然面临各种外界干扰因素（例如姿态）带来的挑战，其在面对存在大量姿态变化的行人图片时，不仅要学习到具有对身份敏感的特征，同时也要学习到对视角不敏感的特征。这是因为一个行人的外观表象是有两部分组成：身份敏感但视角不敏感信息和身份不敏感但视角敏感信息。前者包括一些语义属性，例如性别、衣服风格、衣服颜色、穿戴物等；后者是一个相关信息，例如姿态。现有的方法通常是保留前者信息，移除后者信息，但是组成外观表象的这两部分并不是绝对独立的，比如背包的外观表象会因为姿态的不同而发生改变。

文[1]提出了基于多尺度特征融合的行人重识别方法，通过多尺度的方法提取全局与局部特征，并通过特征融合的方法筛选出最具识别能力的特征。但是该方法对姿态引起的外观表象变化并不具有很好的泛化能力。

文[2]利用部件检测、切割、重组的方法实现部件归一化，并融合原始图片特征和部分重组后的图片特征进行行人重识别。但是该方法并不具有很好的泛化、扩展能力。

文[3]提出使用GAN来生成更多的训练样本，并给予弱标签使其在网络训练中起到约束作用，提升识别精度。但是该方法同样对姿态引起的外观表象变化并不具有很好的泛化能力。

参考资料

[1] X. Qian and Y. Fu and Y. Jiang and T. Xiang and X.Xue. Multi-scale Deep Learning Architectures for Person Re-identification. In ICCV,2017；

[2] C. Su, J. Li, S. Zhang, J. Xing, W. Gao, and Q. Tian. Pose-drivendeep convolutional model for person re-identification. In ICCV, 2017；