[发明专利]一种基于细粒度运动模式选择的步态识别方法及系统

权利要求书

1.一种基于细粒度运动模式选择的步态识别方法，其特征在于，包括以下步骤：

步骤1：对获取的步态视频数据进行预处理，获得原始的步态剪影序列；

其中，预处理包括对图像中的人形提取轮廓边缘，将人体的中心与图片的中心重合，并将步态图片缩放到统一尺寸大小；

步骤2：利用基于细粒度运动模式选择的骨干网络，对步态剪影序列进行特征提取，获得序列中每个点位的初级特征；

其中，步态剪影序列由任意数目的连续采样帧组成，相邻帧之间存在连续的动作变化；骨干网络对输入序列提取步态特征；

首先，基于细粒度特征提取，提取出序列中每个点位的时空特征，构成时空特征图；

然后，通过横向池化，将时空特征图横向切分为固定数目的特征，并分别对局部特征进行优化；

步骤3：针对每一个局部特征，采取运动模式选择建立全局的联系，并进一步获得具有区分力的时空特征，同时去除干扰点；

其中，运动模式选择，是从大量点位的初级特征中进一步建立全局的时空关系，然后利用初级特征组成一个更具有区分性的步态特征；

步骤4：利用三元组损失和交叉熵损失分别对局部特征进行约束，并采取加权求和的方法计算最终损失；

最后，利用反向传播算法对步态神经网络的参数进行迭代更新。

2.如权利要求1所述的一种基于细粒度运动模式选择的步态识别方法，其特征在于，步骤3中，采用最大值池化方式对特征的时间维度进行处理，选择出最具有区分性的步态特征。

3.如权利要求1所述的一种基于细粒度运动模式选择的步态识别方法，其特征在于，步骤3中，骨干网络包含细粒度特征提取模块和横向切分模块；

其中，细粒度特征提取模块由3D卷积和最大值池化组成，对于步态序列中的每一个点位而言，由周围3D空间中的若干个点位学习得到：

其中，(x，y，z)表示点位的坐标，a和b表示在a-th层的第b-th个特征图，LeakReLU代表激活函数，b_ab分别表示3D卷积的权重和偏置，P、Q、R分别表示卷积核的高、宽和通道维度，m表示通道维度的大小；p、q、r均为变量，其取值的最大值分别为(P-1)、(Q-1)和(R-1)；

横向切分模块对步态特征图沿着高度维度进行横向切分，将全局的步态特征切分为局部特征，并分别进行约束和处理：

其中，表示横向切分模块获得的局部步态特征，表示由骨干网络提取的步态特征，，i和j分别表示第i-th帧和第j-th个局部特征；AvgPool2d表示二维平均池化，MaxPool2d表示二维最大值池化。

4.如权利要求3所述的一种基于细粒度运动模式选择的步态识别方法，其特征在于，最大值池化层采用特殊设计1×1×2的步长，该池化方式仅对特征图的宽度维度进行池化，充分保留特征图中最重要的时间和高度维度。

5.如权利要求1所述的一种基于细粒度运动模式选择的步态识别方法，其特征在于，步骤4的实现方法如下：

L_tp＝max(d(a，p)-d(a，n)+margin，0)    (3)

其中，L_tp表示三元组损失，d(a，p)表示选中的样本和相同标签的正样本对之间的欧氏距离，d(a，n)表示选中的样本和不同标签的负样本对之间的欧式距离，a表示锚点，p表示正样本，n表示负样本；margin表示选中的样本和正样本对与负样本对之间的欧式距离差；

其中，L_ce表示交叉熵损失，y表示样本的标签，表示预测的标签；

Loss＝L_tp+βL_ce    (5)

其中，最终的损失函数Loss由三元组损失和交叉熵损失加权求和，β为超参数。

6.一种基于细粒度运动模式选择的步态识别系统，其特征在于，包括图像获取模块、图像预处理模块、步态识别模块和步态检索模块；

其中，图像获取模块，用于获取原始的步态视频数据，并得到步态剪影序列；

图像预处理模块，用于对图像中的人形提取轮廓边缘，将人体的中心与图片的中心重合，并将步态图片缩放到统一尺寸大小；图像预处理模块包括图像定位子模块和图像对齐子模块；

步态识别模块，首先利用步态识别骨干网络对输入序列进行特征提取，获得步态序列中每个点位的初级特征；然后对特征图的宽度维度进行池化，并获得步态的局部特征；最后针对每一个局部特征，建立全局的联系，并进一步获得具有区分力的全局时空特征，同时去除干扰点；步态识别模块包括细粒度特征提取子模块和运动模式选择子模块；

步态检索模块，用于将未知身份序列的特征与存储库的特征进行匹配，并获得行人的身份信息，然后将特征更新存储到库中；步态检索模块包括行人身份检索子模块和步态特征存储子模块；

上述模块之间的连接关系为：

图像获取模块的输出端与图像预处理模块的输入端相连；在图像预处理模块内部，图像去定位子模块的输出端与图像对齐子模块的输入端相连；

图像预处理模块的输出端与步态识别模块的输入端相连；在步态识别模块内部，细粒度特征提取子模块的输出端与运动模式选择子模块的输入端相连；

步态识别模块的输出端与步态检索模块的输入端相连；在步态检索模块内部，行人身份检索子模块的输出端与步态特征存储子模块的输入端相连。