[发明专利]一种用于步态识别的同态异构数据特征提取方法

说明书

本发明提供一种用于步态识别的同态异构数据特征提取方法，包括：由目标行走视频序列获取骨架关节点数据和轮廓图帧，对所述骨架关节点数据进行处理，基于骨架关节点数据对轮廓点数据进行分出处理和形态上下文提取，从而构成一个轮廓图数据结构；对所述骨架序列进行特征提取获取姿态特征；对所述轮廓图数据结构进行特征提取获取轮廓特征；对所述姿态特征和所述轮廓特征进行融合处理从而生成用于步态识别的特征数据，所述融合处理为：将姿态特征和轮廓特征分别与对应的权重相乘后再做相加处理。本发明采用前端融合以及后端融合相结合的方式，提取同态异构数据特征，基于该同态异构数据特征进行步态识别，能够提高步态识别的准确率。

技术领域

本发明涉及步态识别技术领域，具体而言，尤其涉及一种用于步态识别的同态异构数据特征提取方法。

背景技术

目前的步态识别技术大多从两个方向进行研究，一种方法是从一段视频序列中剔除背景信息从而获得的行人的步态轮廓图，利用轮廓序列中包含的动态外观信息来得到步态特征，但是这种方式提取的特征在步态状态发生改变的时候会产生较大改变，例如行人手部携带物品或者大意对腿部进行遮挡的情况。另一种方法从行人视频序列中提取骨架图，从而剔除了外部信息对人体形态的影响，只保留更为敏感的动态步态信息，从而具备更强大的鲁棒性，但是这种方法无法保留人的静态形态信息，例如身高与胖瘦信息，实际应用中识别精度不高。

发明内容

根据上述提出的基于现有方法提取步态特征进行步态识别精度不高的技术问题，而提供一种同态异构数据特征提取方法。本发明采用前端融合以及后端融合相结合的方式，提取同态异构数据特征，基于该同态异构数据特征进行步态识别，能够提高步态识别的准确率。

本发明采用的技术手段如下：

一种用于步态识别的同态异构数据特征提取方法，包括：

获取目标行走视频序列，由所述目标行走视频序列获取骨架关节点数据和轮廓图帧；

对所述骨架关节点数据进行处理，生成与所述轮廓图帧数相同且时间对齐的骨架序列；对所述轮廓图帧进行等间距采样，生成轮廓点数据，基于所述骨架关节点数据对轮廓点数据进行分出处理和形态上下文提取，从而构成一个轮廓图数据结构；

对所述骨架序列进行特征提取获取姿态特征；对所述轮廓图数据结构进行特征提取获取轮廓特征；

对所述姿态特征和所述轮廓特征进行融合处理从而生成用于步态识别的特征数据，所述融合处理为：将姿态特征和轮廓特征分别与对应的权重相乘后再做相加处理，所述对应的权重根据拼接特征通过全连接层后利用sigmoid函数得，所述拼接特征为姿态特征和轮廓特征拼接处理后获取。

进一步地，基于所述骨架关节点数据对轮廓点数据进行分出处理和形态上下文提取，从而构成一个轮廓图数据结构，包括：

基于所述骨架关节点数据对轮廓点进行分区对于每个区域以关键点为中心，采用自适应的方法提取该区域轮廓的形态上下文信息，再利用关键点的自然物理连接关系从而构成一个轮廓图数据结构。

进一步地，对所述骨架序列进行特征提取获取姿态特征，包括：基于时空图卷积网络对骨架序列进行处理从而生成姿态特征，所述时空图卷积网络包括十个堆叠的时空卷积层。

进一步地，对所述轮廓图数据结构进行特征提取获取轮廓特征，包括：基于时空图卷积网络对轮廓图数据结构进行处理从而生成轮廓特征，所述时空图卷积网络包括十个堆叠的时空卷积层。

进一步地，十个堆叠的时空卷积层包括：

第一时空图卷积层，其中空间图卷积的卷积核大小为3，用于提取人体骨架节点的空间特征，时间图卷积的卷积核为9，用于提取序列之间的时间信息，激活函数为Relu函数，通道数由3变为64；