[发明专利]一种基于堆叠递归单元的多级残差网络的动作识别方法

权利要求书

1.一种基于堆叠递归单元的多级残差网络的动作识别方法，其特征在于，主要包括残差网络(一)；堆叠递归单元(二)；数据集(三)。

2.基于权利要求书1所述的残差网络(一)，其特征在于，残差网络(ResNet)将所需的残差映射表示为Φ(x)，并且针对每个被称为构建块的堆叠层描述F(x)＝Φ(x)-x的另一映射；每个块根据深度的要求包含两层或三层，其中两层为3×3和3×3卷积核，三层分别为1×1，3×3和1×1的卷积核；修正线性单元(ReLU)激活层之间用于引入非线性；采用1×1卷积核的目的是在保持相似时间复杂度的同时降低计算复杂度；通过参照层的输入，学习残差函数可以解决随深度增加而引起的退化问题，且易于优化；一般情况下，ResNet由多个残留块组成，每个块从下到上执行短连接，其信息从浅层流向深层；使用ResNet-34来构建不同级别的表示。

3.基于权利要求书2所述的ResNet-34，其特征在于，选择最后三组残差块的输出激活作为A_l，A_m，A_h的低、中、高级表示，并分别命名ResNet-34的不同层的低、中、高级；然后将这些外观表示推入堆叠递归单元(SRU)中以获得时间和深度上的视频表示；

考虑ResNet-34层，输出激活张量A∈R^C×H×W可以表示为：

A_level＝[A_l1，A_l2，…，A_tN]，A^l，i∈R^C (1)

其中，level∈[低，中，高]，N＝H×W；特别地，A_l∈R^128×28×28，A_m∈R^256×14×14，A_l∈R^512×7×7；平均这些激活张量A∈R^C×H×W，并产生描述符x_feature∈R^C，馈入SRU。

4.基于权利要求书1所述的堆叠递归单元(二)，其特征在于，递归过程中门状态的计算依赖于前一个时间隐藏状态h_t-1，这大大缓解了计算速度；门状态的计算如下所示：

State_i，t＝σ(W_xix_t+W_hih_t-1+b_i) (2)

其中，在时刻t，State_i，t表示输入门状态、隐藏门状态和忘记门状态；显然，最后一步的隐藏h_t-1被用于确定门状态；基于此，使用SRU来处理帧的时间信息；SRU架构如下所示：

f_t＝σ(W_fx_t+b_f) (4)

r_t＝σ(W_rx_t+b_r) (5)

其中，f_t和r_t是S型函数门，称为遗忘门和复位门；g(·)是双曲正切函数；SRU通过在递归过程中舍弃h_t-1，简化状态计算；内部状态c_t的更新仍然取决于之前的状态c_t-1；输入向量x_t被传递到SRU模块，f_t，R_t可以同时计算出来；公式(6)和公式(7)的操作是元素级别的；之后进行平均激活张量。

5.基于权利要求书4所述的平均激活张量，其特征在于，如公式(1)，平均激活张量如下式所示：

作为frame_t的定长矢量表示，并在时间步t将其放入SRU中；使用不同方法来融合每个时间步骤的所有预测，采用平均池和最大池来进行最终的动作预测。