[发明专利]基于姿态信息的步态多特征表达和匹配方法

摘要

本发明提供一种基于姿态信息的步态多特征表达和匹配方法，包括以下步骤：有肩、无肩姿态能量图提取、时变姿态特征及其二维频谱提取、基于MvDA降维矩阵的训练、自适应匹配得分计算及识别结果预测。主要从以下三个方面提高行走状态改变时步态识别的鲁棒性，其一：提取的无肩姿态能量图，通过忽略服装变化导致人体肩膀宽度的差异，只考虑胳膊和腿部摆动等特征，有助于提高穿衣变化的识别结果。其二：提取时变姿态特征的二维频谱特征，不仅考虑同一特征不同时刻的频谱，还考虑同一时刻不同特征的频谱，有助于提取人体关节之间的关联性；其三：采用自适应加权匹配得分计算的方法，有效地提高了背包和服装改变两种行走状态下步态识别的鲁棒性。

主权项

1.基于姿态信息的步态多特征表达和匹配方法，其特征在于，包括以下步骤：/nS1：基于姿态信息的步态多特征表达；所述步骤S1还包括：S11：无肩姿态能量图特征表达；S12：时变姿态特征表达；/n所述S11还包括以下步骤：/nS111：通过姿态估计方法从步态视频序列中获取到人体的25个关键点坐标；/nS112：对所述关键点坐标进行坐标变换；/n将右肩RShoulder，右肘RElbow，右手腕RWrist和左肩LShoulder，左肘LElbow，左手腕LWrist的坐标均向以Neck和MidHip之间的连线为轴移动肩膀宽度一半的距离；/n设RShoulder坐标为(x_RShoulder,y_RShoulder)，LShoulder坐标为(x_LShoulder,y_LShoulder)，Neck坐标为(x_Neck,y_Neck)，RElbow坐标为(x_RElbow,y_RElbow)，LElbow坐标为(x_LElbow,y_LElbow)，RWrist坐标为(x_RWrist,y_RWrist)，LWrist坐标为(x_LWrist,y_LWrist)；/n在不考虑人体肩膀宽度的姿态关键点的坐标变换：RShoulder坐标变为(x'_RShoulder,y'_RShoulder)，LShoulder坐标变为(x'_LShoulder,y'_LShoulder)，RElbow的坐标变为(x'_RElbow,y'_RElbow)，LElbow坐标变为(x'_LElbo,wy'_LEwl)_b，RWrist坐标变为(x'_RWrist,y'_RWrist)，LWrist坐标变为(x'_LWrist,y'_LWrist)；其它关键点坐标保持不变；/n /n /nS113：构建无肩姿态能量图；以线宽为4个像素，颜色为白色直线，背景为黑色的格式连接成姿态的二值图，对于没有检测到的关键点，用线性插值求得，找到姿态二值图的最小外接矩，然后保证高宽比为16/11的情况下，以姿态二值图的MidHip为中心，规格化为128×88；/n将所述步态视频序列中所有有效帧的无肩姿态二值图相加求平均得到无肩姿态能量图，所述无肩姿态能量图为：/n /n其中f₂(x,y)表示无肩姿态能量图，P_t(x,y)表示第t帧的无肩姿态二值图，x和y分别为无肩姿态图的空间坐标，N表示步态序列的长度；/nS114：姿态能量图的非线性激活；/n将有肩姿态能量图和所述无肩姿态能量图分别经过非线性激活函数增强图像的对比度：/ng₁(x,y)＝f₁(x,y)^0.4；/ng₂(x,y)＝f₂(x,y)^0.4；/n其中，f₁(x,y)表示有肩姿态能量图的原始图像，f₂(x,y)表示无肩姿态能量图的原始图像，且0≤f₁(x,y)≤1，0≤f₂(x,y)≤1，g₁(x,y)为有肩姿态能量图经过非线性激活后的图像，g₂(x,y)为无肩姿态能量图经过非线性激活后的图像，x和y分别为姿态能量图的空间坐标；/n所述S12还包括以下步骤：/nS121：时态姿态特征的提取；/n设RShoulder坐标为A₁(x_RShoulder,y_RShoulder)，LShoulder坐标为A₂(x_LShoulder,y_LShoulder)，RElbow坐标为B₁(x_RElbow,y_RElbow)，LElbow坐标为B₂(x_LElbow,y_LElbow)，RWrist坐标为C₁(x_RWrist,y_RWrist)，LWrist坐标为C₂(x_LWrist,y_LWrist)，某一时刻i的特征θ_i⁽¹⁾，θ_i⁽²⁾，θ_i⁽³⁾的定义如下，其中i＝1,2,...,n，n表示步态序列的长度：/n /n /n /n步态序列胳膊的角度特征为/n设RHip坐标为M₁(x_RHip,y_RHip)，LHip坐标为M₂(x_LHip,y_LHip)，RKnee坐标为N₁(x_RKnee,y_RKnee)，LKnee坐标为N₂(x_LKnee,y_LKnee)，RAnkle坐标为K₁(x_RAnkle,y_RAnkle)，LAnkle坐标为K₂(x_LAnkle,y_LAnkle)，MidHip的坐标为G(x_MidHip,y_MidHip)，某一时刻i的特征为：/n /n /n /n步态序列腿部的角度特征为/n某一时刻i的腿部摆动的距离特征D_i⁽¹⁾，D_i⁽²⁾，D_i⁽³⁾为：/n /n /n /n步态序列腿部摆动的距离为/n某一时刻i的膝盖和脚抬起的高度特征H_i⁽¹⁾，H_i⁽²⁾为：/n /n /n步态序列膝盖、脚部抬起的高度特征为：/n设MidHip坐标为G(x_MidHip,y_MidHip)，RAnkle坐标为E₁(x_RAnkle,y_RAnkle)，LAnkle坐标为F₁(x_LAnkle,y_LAnkle)，RKnee坐标为E₂(x_RKnee,y_RKnee)，LKnee坐标为F₂(x_LKnee,y_LKnee)，某一时刻i的面积特征S_i⁽¹⁾，S_i⁽²⁾为：/n /n /n步态序列上肢、下肢的面积特征定义为：/nS122：时变姿态特征的预处理；/nS123：提取时变姿态特征的频谱；/n将所述θ,β,D,H,S特征分别经过二维傅里叶变换，取傅里叶变换频谱的幅值，分别记为θ^*,β^*,D^*,H^*,S^*，频谱特征的矩阵化表示为：/n /nS124：提取时变姿态特特征和频谱的统计特征；提取所述时变特征f₃和所述特征频谱f₄的均值、标准差和四分位距：/nM₁＝mean(f₃)/nM₂＝mean(f₄)/nT₁＝std(f₃)/nT₂＝std(f₄)/nQ₁＝f₃(Q₃)-f₃(Q₁)/nQ₂＝f₄(Q₃)-f₄(Q₁)；/n其中n为特征向量的长度，Q₃表示特征向量长度的3/4位置，Q₁表示特征向量长度的1/4位置处；为均值矩阵，为标准差矩阵，为四分位距矩阵，将均值、标准差和四分位距矩阵化为：/n /nS125：时变姿态特征、特征频谱和姿态的统计特征相融合；/n将所述时变姿态特征f₃、所述姿态特征的频谱f₄以及所述姿态的统计特征f₅采用直接拼接的方式表示为一个二维矩阵的形式，最后重构融合特征矩阵F₃，F₃如下定义，其行代表了样本特征，列代表了特征维度：/n /n