[发明专利]基于时间和运动增强的视频动作识别方法

权利要求书

1.一种基于时间和运动增强的视频动作识别方法，其特征在于，使用多路径时间增强模块聚合由各种激发模块激发的多路径时间信息，接着使用长短程运动增强模块来编码相邻和非相邻帧之间的运动特征，这两个模块依次连接在一起可以形成一个通用的模块，即时间和运动增强模块，该模块可以插入任意一个二维卷积神经网络中进行动作识别，具体包括以下步骤：

1)设计一个多路径时间增强模块，聚合由各种激发模块激发的多路径时间信息；

2)设计一个长短程运动增强模块，编码相邻和非相邻视频帧之间的运动特征；

3)将多路径时间增强模块和长短程运动增强模块依次连接在一起，形成时间和运动增强模块，并将其嵌入到一个二维卷积神经网络中；

4)在动作识别的数据集上进行参数学习，将输入的视频片段进行稀疏采样并获得8帧图像，然后对它们进行预处理后导入步骤3的网络进行训练；

5)在动作识别的数据集上对步骤4得到的算法进行评估，并输出对应的测试结果。

2.如权利要求1所述的基于时间和运动增强的视频动作识别方法，其特征在于，该模块包含四个路径，其中残差路径用于对输入特征进行有效传递，时间聚合路径使用卷积操作在时间维度上捕获时间特征，通道时间激励路径融合通道响应和时间激励，以实现在通道和时间维度上进行联合选择，空间注意力时间激励路径将位置关系嵌入到空间信息中。

3.如权利要求1所述的基于时间和运动增强的视频动作识别方法，其特征在于，给定输入X∈R^{N×C/4×T×H×W}，经过二维卷积将通道缩放到原来的此时输出为运动行为可以表示为：

F_i＝K_i*X^*[:,:,t+i,:,:]-X^*[:,:,t,:,:]

其中K_i是核大小为3×3的二维卷积，F_i是间隔为i的帧之间的运动特征。将F_i沿时间维度拼接获得

F_i^*，将F_i^*融合相加可得：

其中接着F^*经过空间均值池化和二维卷积处理送入激活函数中。

4.如权利要求1所述的基于时间和运动增强的视频动作识别方法，其特征在于，将多路径时间增强模块和长短程运动增强模块依次连接在一起组成时间和运动增强模块，然后将该模块嵌入到残差网络ResNet-34的每个残差单元中形成时间和运动增强网络。