[发明专利]一种基于SEHM特征图序列的动作识别方法

权利要求书

1.一种基于SEHM特征图序列的动作识别方法，其特征在于：包括以下步骤：

S1.针对视频中选定的时间段长度为N帧的深度图序列，将深度图序列中每一帧的深度图投影到三个正交坐标系的不同平面中，得到三个正交的视角图：正视图、侧视图和俯视图；

S2.对于每个视角图下的深度图序列，计算其相邻两帧的差值作为能量图，其中每帧能量图代表着前后帧的距离变化；然后根据能量图的具体数值和设定的阈值将能量图分为三种状态图：向前状态的二进制图、向后状态的二进制图或静态的二进制图； 具体如下：

其中为在视角图v下第t帧的能量图；ε为所设的阈值；表示后一帧减去前一帧的差值的绝对值；i＝1，2，3，分别代表向前状态的二进制图、向后状态的二进制图和静态的二进制图；第t帧的状态图通过一个三通道矩阵EM_t进行表示；

S3.执行步骤S2后分别得到三个视角图下的状态图序列；将三个视角图的N帧状态图序列分别按照前后顺序平均分为S个时间片，S＝N/K，其中K表示每个时间片的长度；对于每个视角图下的状态图序列，按照从前到后的顺序依次选取一个时间片的状态图序列进行SEHM特征图的计算：

S31.设第p次选择进行计算的时间片的状态图序列是从N帧状态图序列的第(p-1)*K+1帧开始而在第p*K帧结束的，则该时间片的SEHM特征图由以下公式和步骤S32计算得到：

SEHM_p＝max(SEHM_p，EM_(p-1)*K+k·k)

其中，k的初始值为1，SEHM_p是初始值被设为零的三通道矩阵；

S32.令k＝k+1然后执行步骤S31的公式直至k＞K，最后经过标准化处理后输出SEHM_p作为第p次选择进行计算的时间片的SEHM特征图；

S4.通过步骤S31、S32得到三个视角图下各个时间片的SEHM特征图；

S5.将三个视角图下相互对应的时间片的SEHM特征图进行融合，得到融合的以时间片为单位的SEHM特征图；

S6.融合后的各个时间片的SEHM特征图构成SEHM特征图序列，将SEHM特征图序列输入到神经网络中，神经网络输出一列代表各个动作可能性的概率向量P，根据输出的概率向量P确定当前N帧深度图序列的动作识别结果；

分别对三个视角图下的N帧状态图序列进行SEHM特征图的计算，然后对计算得到的三个视角图下的SEHM特征图进行融合，得到全局SEHM特征图；所述步骤S6中，全局SEHM特征图与各个时间片的SEHM特征图构成SEHM特征图序列，将该SEHM特征图序列输入神经网络中进行动作识别。

2.根据权利要求1所述的基于SEHM特征图序列的动作识别方法，其特征在于：所述步骤S1中，选定N帧深度图序列进行动作识别时，是通过滑动窗口进行选定的，所述滑动窗口包括一个窗口大小值m，表示下一次选取的深度图序列的起始帧距离上一次选取的深度图序列的起始帧的时间长度。

3.根据权利要求1所述的基于SEHM特征图序列的动作识别方法，其特征在于：所述ε＝30。

4.根据权利要求1所述的基于SEHM特征图序列的动作识别方法，其特征在于：所述K＝10。

5.根据权利要求1所述的基于SEHM特征图序列的动作识别方法，其特征在于：所述N＝80。

6.根据权利要求1所述的基于SEHM特征图序列的动作识别方法，其特征在于：所述步骤S5中，将正视图、侧视图和俯视图相互对应的时间片的SEHM特征图按照2∶1∶1的比例进行融合。