[发明专利]基于姿态归一化图像生成的行人重识别方法

摘要

本发明属于计算机图像识别技术领域，具体为基于姿态归一化图像生成的行人重识别方法。本发明的具体步骤包括：行人平均姿态和属性特征的预测；姿态归一化图像生成模型的构建、训练和测试，生成8张不同姿态的行人图像；行人重识别特征提取网络的构建、训练和测试，得到行人重识别特征；最后行人重识别特征融合，获得待检测行人目标以及所有候选行人目标的特征。本发明方法具有速度快、精确度高、鲁棒性好、泛化能力佳、可扩展性强等优点，非常适用于视频行人监控、视频行人信息检索等实际应用。

主权项

1. 一种基于姿态归一化图像生成的行人重识别方法，对于给定待检测行人目标，以及一系列候选行人目标，其特征在于，具体步骤如下：（1）行人平均姿态和属性特征的预测对于属性特征的预测，定义26个属性数目，将现有的属性预测模型直接应用到所有的训练数据以及测试数据；对于行人平均姿态估计，给定一张行人图片，直接利用现有的开源工具（OpenPose）生产姿态图片，其包含18个姿态关键点及各个关键点之间的连线，其中连线用彩色来表示左右的区分；通过对行人姿态图片进行8分类聚类，并将每个聚类簇的中心姿态图片当做行人平均姿态，得到8个行人平均姿态图；这8张行人平均姿态图涵盖了行人一圈360°的8种姿态，并且每一张行人平均姿态图均包含18个姿态关键点及各个关键点之间的连线；（2）姿态归一化图像生成模型的构建、训练和测试，生成8张不同姿态的行人图像；姿态归一化图像生成模型是端到端训练的模型，由生成模型和判别模型两部分组成；生成模型主要框架为基于深度学习的自编码器，即对于输入图片，经过编码器提取相关特征，然后由解码器重新构造图片；生成模型的输入为原始行人图片以及期望的姿态图片，经过编码器提取特征后与行人属性特征拼接一起送入解码器，最终由解码器生成改变姿态的行人图片；判别模型同样也是基于深度学习框架，其输入也是原始行人图片或者生成的行人图片，输出为是/否2分类，即判断输入图片为真实图片还是虚假图片；姿态归一化图像生成模型的训练，是一个生成模型与判别模型的博弈游戏，即生成模型学习更好的参数生成更逼真的行人图片来迷惑判别模型，而判别模型同样学习更好的参数为了能更准确的区分真实与虚假图片；姿态归一化图像生成模型在训练时，输入为原始行人图片、行人属性特征、期望姿态图片以及改变姿态的行人图片，并利用生成模型和判别模型之间的博弈游戏，反复迭代，更新参数；姿态归一化图像生成模型在测试时，仅使用生成模型，根据原始行人图像、期望姿态图片及行人属性特征，生成8张对应不同姿态的行人图像；（3）利用行人重识别特征提取网络的构建、训练和测试，得到行人重识别特征；行人重识别特征提取网络是对现有分类任务网络结构ResNet‑50进行的改进：其前4个模块的网络结构和ResNet‑50的网络结构一样，区别在于第5个模块，即将第5个模块中的3层网络的输出特征都拼接在一起，最后利用一层全连接层进行特征维度降维得到最终的用于分类识别的行人特征；记为ResNet‑50‑A和ResNet‑50‑B，两者网络结构一样，前者用于提取原始行人图片的特征，后者用于提取生成图片的特征；对于行人重识别特征提取网络的训练，分别利用原始行人图片和生成行人图片的训练集训练ResNet‑50‑A和ResNet‑50‑B网络，其监督信息为行人图片的身份；对于行人重识别特征提取网络的测试，给定一张原始或者生成的行人图片，直接利用对应的特征提取网络ResNet‑50‑A或ResNet‑50‑B进行特征提取，得到行人重识别特征；（4）行人重识别特征融合，获得待检测行人目标以及所有候选行人目标的特征；对于一张行人图片，经过步骤（2）和步骤（3 ），一共获得9个特征向量；行人重识别特征融合即对这9个行人特征向量进行特征融合，分两步：第一步对特征层面进行融合，即将9个行人特征进行maxout的操作，融合成1个特征；第二步在距离得分层面进行融合，首先，利用欧氏距离计算公式计算不同行人原始图片特征两两之间的距离，形成距离矩阵；然后，同样利用欧氏距离计算公式计算得到另一个距离矩阵，该距离矩阵计算所用的特征为第一步融合后获得的特征；将这两种距离矩阵计算平均值，最终获得待检测行人目标以及所有候选行人目标的特征。