[发明专利]一种基于SEHM特征图序列的动作识别方法

摘要

本发明提供的动作识别方法在进行动作识别时，是以本发明提出的SEHM（segment energy history maps）特征图作为底层特征进行动作识别的。通过合理选择算法中时间片长度等参数，计算相应的SEHM特征图序列并应用到神经网络进行预测，能够在动作识别上实现离线识别和在线识别的功能。且由于构建的SEHM特征图是与动作整体姿态的前后变化相关的，因此可以充分地利用动作变化过程中的动作信息，提高动作识别的准确度。同时，在进行SEHM特征图计算时对原始数据进行了一定的压缩，方法的复杂度和硬件的要求较低，并能做到在线的实时动作识别。

主权项

一种基于SEHM特征图序列的动作识别方法，其特征在于：包括以下步骤：S1.针对视频中选定的时间段长度为N帧的深度图序列，将深度图序列中每一帧的深度图投影到三个正交坐标系的不同平面中，得到三个正交的视角图：正视图、侧视图和俯视图；S2.对于每个视角图下的深度图序列，计算其相邻两帧的差值作为能量图，其中每帧能量图代表着前后帧的距离变化；然后根据能量图的具体数值和设定的阈值将能量图分为三种状态图：向前状态的二进制图、向后状态的二进制图或静态的二进制图。具体如下：EMti=((mapt+1v-maptv)>ϵ)=1,i=1((mapt+1v-maptv)<-ϵ)=1,i=2(0<abs(mapt+1v-maptv)<ϵ)=1,i=3]]>其中为在视角图v下第t帧的能量图；ε为所设的阈值；表示后一帧减去前一帧的差值的绝对值；i＝1,2,3，分别代表向前状态的二进制图、向后状态的二进制图和静态的二进制图；第t帧的状态图通过一个三通道矩阵EMt进行表示；S3.执行步骤S2后分别得到三个视角图下的状态图序列；将三个视角图的N帧状态图序列分别按照前后顺序平均分为S个时间片，S＝N/K，其中K表示每个时间片的长度；对于每个视角图下的状态图序列，按照从前到后的顺序依次选取一个时间片的状态图序列进行SEHM特征图的计算：S31.设第p次选择进行计算的时间片的状态图序列是从N帧状态图序列的第(p‑1)*K+1帧开始而在第p*K帧结束的，则该时间片的SEHM特征图由以下公式和步骤S32计算得到：SEHMp＝max(SEHMp,EM(p‑1)*K+k·k)其中，k的初始值为1，SEHMp是初始值被设为零的三通道矩阵；S32.令k＝k+1然后执行步骤S31的公式直至k>K，最后经过标准化处理后输出SEHMp作为第p次选择进行计算的时间片的SEHM特征图；S4.通过步骤S31、S32得到三个视角图下各个时间片的SEHM特征图；S5.将三个视角图下相互对应的时间片的SEHM特征图进行融合，得到融合的以时间片为单位的SEHM特征图；S6.融合后的各个时间片的SEHM特征图构成SEHM特征图序列，将SEHM特征图序列输入到神经网络中，神经网络输出一列代表各个动作可能性的概率向量P，根据输出的概率向量P确定当前N帧深度图序列的动作识别结果。