[发明专利]一种基于注意力机制的行为识别系统

权利要求书

1.一种基于注意力机制的行为识别系统，其特征在于，由输入、中间Block、输出构成；

输入端为RGB图像,其中的注意力模块能任意嵌入在其中一个Block；注意力模块主要分为通道间注意力模块和空间注意力模块；视频中的一帧图像输入后，经过前馈运算后，卷积神经网络输出对应行为的类别；

所述系统整个网络结构基于Inception V3,选择在其中一个Block加入两个注意力模块注意力模块；其中使用通道间注意力模块模块提取通道间依赖，通过使用空间注意力模块获取空间的依赖；整体系统通过输入的视频数据切分为图像数据后进行行为识别；

所述系统根据通道间注意力模块的设计，关注信息部分或无关信息，与通道间注意力分支对称；空间注意模块的设计有两种方式；第一种形式是计算2D描述符，该描述符对通道上每个像素的信道信息进行编码，命名为第一空间注意力模块；使用通道最大池化和通道平均池化，生成两个2D特征图和然后在它们之间进行逐元素加法并通过标准卷积层进行卷积以产生2D空间注意力图，在最后添加sigmoid激活函数；

具体公式表达如下所示：

其中F为输入特征，c表示通道数，δ为表示Relu函数，σ表示Sigmoid激活函数；W₀以及W₁分别表示两个全连接层对应的参数；

在第二种形式中，对于每个通道，将每个通道划分为N×N的网格，N选择为3或4；首先对每个网格执行最大池化，然后使用2层MLP和一个softmax激活函数来产生这些网格的系数；记为第二空间注意力模块；在设计完这些模块之后，神经网络，对数据集进行采样，数据增强并进行训练，测试时在测试集进行验证。

2.根据权利要求1所述的基于注意力机制的行为识别系统，其特征在于，所述系统对于通道间注意力模块，为了使模型能够完全捕获通道依赖性，首先通过在每个信道上使用全局最大池操作来聚合空间信息，然后将这些特征输入到非线性的两个完全连接层，用来产生通道系数；在输出部分，每个通道都乘以相应系数；由于降采样的存在，这部分的计算开销基本可以忽略不计。