[发明专利]一种基于骨架姿态的人物识别方法

说明书

本发明属于统计模式识别与图像处理技术领域，具体为一种基于骨架姿态的人物识别方法。本发明分为离线训练阶段,离线构造注册集阶段和在线识别阶段。在离线训练阶段，准备模型训练集，对模型进行训练。在离线构造注册集阶段，将用于构造注册集的骨架输入训练好的模型，得到骨架姿态特征，再将特征归一化得到注册集特征。在在线识别阶段，将待识别骨架输入训练好的模型，得到待识别的骨架姿态特征，并对特征进行归一化，然后计算其和各注册集特征之间的相似度，最后取相似度最大的注册集特征的人物id作为检索结果。本发明可以基于人体的骨架姿态进行人物识别，扩展了智能视频监控中人物识别的方法。

技术领域

本发明属于统计模式识别与图像处理技术领域，具体涉及一种基于骨架姿态的人物识别模型。

背景技术

近年来，智能视频监控的应用场景越来越广泛。如何判断视频中人物的身份，即人物识别，是智能视频监控领域中一个重要问题。人物识别的一个实现方法是利用行人再识别技术进行人物身份跟踪。行人再识别的目标是将不同摄像机中拍摄到的同一个人物识别出来，它的实现方法是使用深度学习网络学习人物的深度特征，并设计损失函数增加特征对类内变化的鲁棒性，以准确识别不同环境下的同一人物。

发明内容

本发明的目的在于提供一种基于骨架姿态的人物识别方法，该方法应用于智能视频监控，能有效解决视频中的人物识别问题。

本发明提供一种基于骨架姿态的人物识别方法，分为三个阶段：离线训练阶段，离线构造注册集阶段和在线识别阶段；

(一)离线训练阶段，首先准备模型训练集，将OpenPose格式的骨架关键点坐标经过归一化后转化为36维向量作为模型输入，然后对模型进行训练；模型的网络结构包括生成模块和判别模块；

所述生成模块包括姿态编码器Es、动作编码器Ea、生成器G和判别器D四个子模块,每个子模块都各自由输入层、隐藏层和输出层组成；其中，姿态编码器Es和动作编码器Ea的输入层分别输入36维的骨架数据，输出层分别输出16维的姿态特征和196维的动作特征；生成器G的输入层的输入为一个212维向量，其第0到第15维为姿态特征，第16到第211维为动作特征，输出层输出36维的合成骨架；判别器D的输入层输入合成骨架，输出层输出36维的判别结果；

所述判别模块，其与生成模块共用姿态编码器Es，给定输入骨架，将Es输出的16维姿态特征作为该骨架的表示特征，在在线识别阶段中作为骨架数据所属人物的标识符id检索的依据；判别模块在Es输出层后加入一个长度为N的全连接层得到id概率分布向量，其中N为训练集中id类别的个数；id概率分布向量中最大分量的维数即为人物骨架的id；

(二)离线构造注册集阶段，首先将用于构造注册集的骨架输入训练好的模型，得到骨架姿态特征，再将特征归一化得到注册集特征；

(三)在线识别阶段，首先将待识别骨架输入训练好的模型，得到待识别的骨架姿态特征，并对特征进行归一化，然后计算待识别的骨架姿态特征和各注册集特征之间的相似度，最后取相似度最大的注册集特征的人物id作为检索结果.

本发明中，步骤(一)中，离线训练阶段的每个训练集样本包括骨架数据和骨架数据所属人物的标识符id，id是由一个0到N-1之间整数表示，其中N为训练集中id类别的个数；准备骨架数据的步骤如下所示：

第一步：采用OpenPose训练使用的骨架格式组织骨架数据，每个骨架包含18个人体关键点坐标，将18个关键点坐标由0到17编号，每个关键点所表示的人体位置如下所示：

0-鼻子,1-脖子，2-右肩，3-右肘，4-右手腕，5-左肩，6-左肘，7-左手腕，8-右臀，9-右膝盖，10-右脚踝，11-左臀，12-左膝盖，13-左脚踝，14-右眼，15-左眼，16-右耳，17-左耳；

第二步：将第一步得到的18个关键点坐标逐个进行归一化，归一化的公式如下所示：