[发明专利]一种用于步态识别的同态异构数据特征提取方法

权利要求书

1.一种用于步态识别的同态异构数据特征提取方法，其特征在于，包括：

获取目标行走视频序列，由所述目标行走视频序列获取骨架关节点数据和轮廓图帧；

对所述骨架关节点数据进行处理，生成与所述轮廓图帧数相同且时间对齐的骨架序列；对所述轮廓图帧进行等间距采样，生成轮廓点数据，基于所述骨架关节点数据对轮廓点数据进行分区域处理和形态上下文提取，从而构成一个轮廓图数据结构；

对所述骨架序列进行特征提取获取姿态特征；对所述轮廓图数据结构进行特征提取获取轮廓特征；

对所述姿态特征和所述轮廓特征进行融合处理从而生成用于步态识别的特征数据，所述融合处理为：将姿态特征和轮廓特征分别与对应的权重相乘后再做相加处理，所述对应的权重根据拼接特征通过全连接层后利用sigmoid函数得，所述拼接特征为姿态特征和轮廓特征拼接处理后获取。

2.根据权利要求1所述的一种用于步态识别的同态异构数据特征提取方法，其特征在于，基于所述骨架关节点数据对轮廓点数据进行分区域处理和形态上下文提取，从而构成一个轮廓图数据结构，包括：

基于所述骨架关节点数据对轮廓点进行分区对于每个区域以关键点为中心，采用自适应的方法提取该区域轮廓的形态上下文信息，再利用关键点的自然物理连接关系从而构成一个轮廓图数据结构。

3.根据权利要求1所述的一种用于步态识别的同态异构数据特征提取方法，其特征在于，对所述骨架序列进行特征提取获取姿态特征，包括：基于时空图卷积网络对骨架序列进行处理从而生成姿态特征，所述时空图卷积网络包括十个堆叠的时空卷积层。

4.根据权利要求1所述的一种用于步态识别的同态异构数据特征提取方法，其特征在于，对所述轮廓图数据结构进行特征提取获取轮廓特征，包括：基于时空图卷积网络对轮廓图数据结构进行处理从而生成轮廓特征，所述时空图卷积网络包括十个堆叠的时空卷积层。

5.根据权利要求3或4所述的一种用于步态识别的同态异构数据特征提取方法，其特征在于，十个堆叠的时空卷积层包括：

第一时空图卷积层，其中空间图卷积的卷积核大小为3，用于提取人体骨架节点的空间特征，时间图卷积的卷积核为9，用于提取序列之间的时间信息，激活函数为Relu函数，通道数由3变为64；

第二时空图卷积层，其中空间图卷积的卷积核的大小为3，时间图卷积的卷积核为9，激活函数为Relu函数，通道数由64变为64；

第三时空图卷积层，其中空间图卷积的卷积核的大小为3，时间图卷积的卷积核为9，激活函数为Relu函数，通道数由64变为64；

第四时空图卷积层，其中空间图卷积的卷积核的大小为3，时间图卷积的卷积核为9，激活函数为Relu函数，通道数由64变为64；

第五时空图卷积层，其中空间图卷积的卷积核的大小为3，时间图卷积的卷积核为9，激活函数为Relu函数，通道数由64变为128；

第六时空图卷积层，其中空间图卷积的卷积核的大小为3，时间图卷积的卷积核为9，激活函数为Relu函数，通道数由128变为128；

第七时空图卷积层，其中空间图卷积的卷积核的大小为3，时间图卷积的卷积核为9，激活函数为Relu函数，通道数由128变为128；

第八时空图卷积层，其中空间图卷积的卷积核的大小为3，时间图卷积的卷积核为9，激活函数为Relu函数，通道数由128变为256；

第九时空图卷积层，其中空间图卷积的卷积核的大小为3，时间图卷积的卷积核为9，激活函数为Relu函数，通道数由256变为256；

第十时空图卷积层，其中空间图卷积的卷积核的大小为3，时间图卷积的卷积核为9，激活函数为Relu函数，通道数由256变为256。

6.根据权利要求1所述的一种用于步态识别的同态异构数据特征提取方法，其特征在于，姿态特征对应的权重和轮廓特征对应的权重加和为1。