[发明专利]一种基于注意机制的卷积递归神经网络的动作识别方法

权利要求书

1.一种基于注意机制的卷积递归神经网络的动作识别方法，其特征在于，包括如下步骤：

步骤1：利用卷积神经网络自动地对视频帧图像进行特征提取，提取最后一个卷积层的特征图U作为后续操作的输入；

步骤2：利用空间转换网络对视频的特征图进行转换处理；

1)对步骤1产生的输入特征图U进行池化操作，得到1维的特征向量；将多帧特征向量输入到递归神经网络中，产生后续所需要的转换参数θ；

2)对步骤1产生的输入特征图U的空间坐标位置进行归一化，同时限定输出特征图的空间坐标位置也在[-1,1]之间，利用1)中产生的转换参数θ构建可微分的空间变换T_θ，利用空间变换T_θ和输出特征图V的坐标产生在输入特征图U中的采样点的坐标，如下式所示：

其中是输出特征图的目标坐标，是输入特征图中采样点的坐标，T_θ是仿射变换矩阵；

3)利用采样内核在2)中提取到的采样点坐标上进行采样操作，得到输出特征图V中每一个坐标位置的值，产生输出特征图V；采样操作如下：

其中Ф_x和Ф_y是定义采样内核k()参数，是输入通道c中坐标位置(n，m)的值，是通道c中坐标位置处的像素i的输出值；

对输入特征图的每个通道进行相同的采样，继而每个通道以相同的方式进行转换，保持了通道之间的空间一致性；

步骤3：将步骤2中产生的输出特征图V输入到卷积递归神经网络中，卷积递归神经网络是一种循环的结构，每一次循环产生一个对于当前帧的类别预测，最后得到所有帧的预测结果；卷积递归神经网络的操作如下：

其中“*”表示卷积运算符和表示Hadamard积,W_x～和W_h～表示的是卷积核，输入门i^(t)，忘记门f^(t)，输出门o^(t)，记忆单元c^(t)和c^(t-1)，隐藏状态h^(t)和h^(t-1)都是3D张量；

步骤4：统计步骤3中所有时刻得到的关于帧类别的预测，利用这些预测进行动作的分类；对视频的所有帧的类别进行投票，然后把投票得分最多的类别作为该视频最后的分类结果。

2.根据权利要求1所述的一种基于注意机制的卷积递归神经网络的动作识别方法，其特征在于，步骤1所述的卷积神经网络包括GoogleNet神经网络、VGGNet神经网络、ResNet神经网络。

3.根据权利要求1或2所述的一种基于注意机制的卷积递归神经网络的动作识别方法，其特征在于，步骤2中3)所述的采样内核包括整数采样内核、双线性采样内核。