[发明专利]一种基于注意机制的卷积递归神经网络的动作识别方法

摘要

本发明属于计算机视觉动作识别领域，提出了一种基于注意机制的的卷积递归神经网络的动作识别方法，用以解决在动作识别中无法有效的提取显著性区域的问题，提高了分类的准确性。本方法首先利用卷积神经网络自动地对动作视频进行特征提取；然后利用空间转换网络在特征图的基础上实现了注意机制，利用注意机制操作提取特征图中的显著区域，生成目标特征图；最后将目标特征图输入卷积递归神经网络中，产生最后的动作识别结果。实验证明所提方法在UCF‑11和HMDB‑51等基准动作视频测试集上取得了很好的效果，提高了动作识别的准确性。

主权项

一种基于注意机制的卷积递归神经网络的动作识别方法，其特征在于，包括如下步骤：步骤1：利用卷积神经网络自动地对视频帧图像进行特征提取，提取最后一个卷积层的特征图U作为后续操作的输入；步骤2：利用空间转换网络对视频的特征图进行转换处理；1)对步骤1产生的输入特征图U进行池化操作，得到1维的特征向量；将多帧特征向量输入到递归神经网络中，产生后续所需要的转换参数θ；2)对步骤1产生的输入特征图U的空间坐标位置进行归一化，同时限定输出特征图的空间坐标位置也在[‑1,1]之间，利用1)中产生的转换参数θ构建可微分的空间变换Tθ，利用空间变换Tθ和输出特征图V的坐标产生在输入特征图U中的采样点的坐标，如下式所示：xisyis=Tθ(Gi)=Tθxityit1=θ11θ12θ13θ21θ22θ23xityit1---(1)]]>其中是输出特征图的目标坐标，是输入特征图中采样点的坐标，Tθ是仿射变换矩阵；3)利用采样内核在2)中提取到的采样点坐标上进行采样操作，得到输出特征图V中每一个坐标位置的值，产生输出特征图V；采样操作如下：Vic=ΣnHΣmWUnmck(xis-m;Φx)k(yis-n;Φy)∀i∈[1...H′W′]∀c∈[1...C]---(2)]]>其中Фx和Фy是定义采样内核k()参数，是输入通道c中坐标位置(n，m)的值，是通道c中坐标位置处的像素i的输出值；对输入特征图的每个通道进行相同的采样，继而每个通道以相同的方式进行转换，保持了通道之间的空间一致性；步骤3：将步骤2中产生的输出特征图V输入到卷积递归神经网络中，卷积递归神经网络是一种循环的结构，每一次循环产生一个对于当前帧的类别预测，最后得到所有帧的预测结果；卷积递归神经网络的操作如下：其中“*”表示卷积运算符和表示Hadamard积,Wx～和Wh～表示的是卷积核，输入门i(t)，忘记门f(t)，输出门o(t)，记忆单元c(t)和c(t‑1)，隐藏状态h(t)和h(t‑1)都是3D张量；步骤4：统计步骤3中所有时刻得到的关于帧类别的预测，利用这些预测进行动作的分类；对视频的所有帧的类别进行投票，然后把投票得分最多的类别作为该视频最后的分类结果。