[发明专利]一种基于时间和空间信息融合技术的步态重识别方法

说明书

本发明公开了一种基于时间和空间信息融合技术的步态重识别方法。首先构建双路步态识别网络，包括GaitSet网络和ResNet50网络；然后将步态序列图输入GaitSet网络，得到步态时间特征；然后将步态序列图进行能量压缩，得到步态能量图，将步态能量图输入ResNet50网络，得到步态空间特征；融合步态时间特征和步态空间特征，得到步态时空特征，传入步态损失函数；反向传播同时更新GaitSet网络和ResNet50网络参数。本发明从步态序列图中学习到有效的时间特征，融合步态时间特征和步态空间特征，得到步态时空特征；本发明进一步的推动了基于深度学习的步态识别研究进展。

技术领域

本发明涉及步态识别技术领域，尤其可以应用于基于深度学习的步态识别方面，具体地说，提出了一种同时利用时间和空间信息的技术来实现步态识别。

背景技术

首先介绍行人重识别技术，行人重识别是指输入一个目标行人图像或视频片段，在拍摄区域不重叠的多摄像头监控网络中搜索与目标行人身份相同的行人。

步态识别是行人重识别的一种特例。步态是一种极具潜质的生物特征，它反映了行人的行走模式。由于存在运动差异和体型差异，每个人的步态都是唯一的，利用步态可以唯一识别视频中的目标行人。现存的步态识别技术可分为传统步态识别和基于深度学习的步态识别两类：

传统的步态识别方法大致分为两类：基于模型的步态识别和基于外形的步态识别，前者是通过对人体肢体运动模式进行建模来刻画步态参数，如运动轨迹、肢体长度、肢体弯曲角度等，然后利用运动模式的差异辨别不同的行人，后者则是直接从捕获的步态序列中提取步态的空间信息和时序信息，然后通过计算特征之间的相似性来完成步态识别。

近些年，深度学习在图像、视频、语音等方面取得了突破性的进展，并展现了强大的特征学习能力，基于深度学习的步态识别方法已经逐渐成为主流。

发明内容

本发明针对步态识别任务，提出了一种基于时间和空间信息融合技术的步态识别方法。

现有的基于深度学习的步态识别方法，大多采用步态能量图作为卷积神经网络的输入，具体地说，将一个人行走的步态序列图片全部压缩至一张图片，得到一个人行走步态的步态能量图；少数工作采用的是步态序列图。直观上看，步态能量图包含了行人行走时的所有行走姿态，具备较为完善的步态空间信息，步态序列图作为序列级别输入，则更多的包含着步态时间信息。

本发明从尽可能完善挖掘步态信息的角度出发，提出了一种同时融合步态时间和空间信息的步态识别方法。为了从步态序列图中学习到有效的时间特征，我们采用当前最先进的步态序列级深度学习模型GaitSet作为本发明中步态序列信息的主干网络。同时，为了从步态能量图中学习到有效空间特征，我们采用ResNet50作为本发明中步态空间信息的主干网络。

一种基于时间和空间信息融合技术的步态重识别方法，步骤如下：

步骤1、构建双路步态识别网络；

所述的双路步态识别网络包括作为步态序列信息的主干网络的GaitSet网络和作为步态空间信息的主干网络的ResNet50网络；

步骤2、将步态序列图输入GaitSet网络，得到步态时间特征；

步骤3、将步态序列图进行能量压缩，得到步态能量图，将步态能量图输入ResNet50网络，得到步态空间特征；

步骤4、步态时间特征和步态空间特征融合，得到步态时空特征；

将步骤2和步骤3中得到的步态时间特征和步态空间特征按照通道维度进行拼接，得到步态时空特征，并传入步态损失函数。

步骤5、反向传播同时更新GaitSet网络和ResNet50网络参数，得到最终的双路步态识别网络。

本发明方法具有的优点及有益结果为：