[发明专利]一种基于人体骨架热图的多人步态识别方法

说明书

本发明公开了一种基于人体骨架热图的多人步态识别方法，包括：采集行人步态视频序列；对步态视频中的每一帧进行目标检测，并对检测到的行人进行跟踪；利用2D姿态估计模型对行人进行人体姿态估计，得到2D人体骨架热图；将2D人体骨架热图按照时间维度拼接为3D人体骨架热图序列；将3D人体骨架热图序列输入到3D卷积神经网络进行训练，使用训练好的网络模型进行步态特征提取，得到行人步态特征向量；将提取到的待识别行人步态特征向量与数据库中已注册行人的特征向量进行相似性度量，完成特征匹配。本发明利用3D CNN从人体骨架热图中提取步态特征，能提高步态识别对于拍摄视角变换、携带物遮挡等干扰的鲁棒性。

技术领域

本发明涉及生物特征识别技术领域，尤其涉及一种基于人体骨架热图的多人步态识别方法。

背景技术

步态识别技术旨在通过人的走路方式来实现人身份的识别，是近年来新兴的生物特征识别技术之一。与人脸识别等其他生物特征识别技术相比，步态识别具有远距离、非侵入、非接触等优点，在公共安全、智能安防、金融安全等领域具有巨大的应用潜力。但目前步态识别在应用时受较多因素的影响，如跨视角拍摄、衣着遮挡、携带物遮挡等干扰，导致在现实场景下识别精度较低。

根据特征提取和表示的不同，可将目前步态识别的方法分为基于人体模型和基于人体表观的方法。基于人体模型的方法为人体建立结构或运动模型，如人体骨架模型，将人体步态特征映射到模型上，从所建立的模型中提取步态特征信息，将计算特征匹配相似度最高的目标作为识别结果；与基于模型的方法相比，基于人体表观的方法更加关注行人步态序列中的外形轮廓而非人体结构，如目前大多数基于人体表观的方法从步态剪影图中提取步态特征，目前基于步态剪影图的方法可以分为基于模板的方法和基于视频序列的方法，基于模板的方法旨在将步态剪影图序列压缩为一张模板图像，从该模板中提取人体步态特征信息，这样的思路忽略了步态的时序信息，相反，基于视频序列的方法直接从步态剪影图序列中提取步态特征信息，从而更好的保留了步态的时序信息。相比于基于模型的方法，基于人体表观的方法易受拍摄视角变化、携带物遮挡等干扰的影响，在步态识别落地应用中效果较差。

现有技术一：基于步态剪影图的步态识别方法

基于步态剪影图的步态识别方法旨在从人体外观提取步态特征，步态剪影图一般通过背景减除或分割算法从原始RGB视频中将人体掩膜从背景中分离出来得到，进而利用深度学习方法从步态剪影图序列中提取步态特征。目前基于步态剪影图的步态识别方法大部分摒弃将步态剪影图序列压缩为图像模板来提取特征的思路，而将步态剪影图序列直接输入神经网络模型进行特征提取，典型的特征提取网络有基于2D CNN的GaitSet、GaitPart以及基于3D CNN的GaitGL等。如专利“一种基于双流网络的步态识别方法”(CN112507803A)、“基于深度学习级联特征融合的步态识别方法”(CN113011396A)等均采用基于步态剪影图的步态识别方法。

首先，基于步态剪影图提取步态特征的方法依赖于人体的外观，对于拍摄视角变换、衣着变换、携带物遮挡等干扰的鲁棒性较差，在实际落地时难以应用。其次，从RGB图像中获取步态剪影图的难度较大，目前可以采用的方法可以分为传统方法和基于深度学习的方法，传统方法以背景减除为代表，难以应对复杂场景下步态剪影图的提取，且无法在多人场景中应用，基于深度学习的方法以实例分割算法为代表，相比于传统方法能在较复杂场景下提取步态剪影图，但通过分割得到的步态剪影图数据与步态数据集中提供的步态剪影图数据很难达到相似的分布，且深度模型难以达到实时的处理速度。

现有技术二：基于人体骨架的步态识别方法