[发明专利]一种基于注意力机制的行为识别系统

摘要

本发明公开了一种基于注意力机制的行为识别系统，由输入、中间Block、输出构成；所述系统整个网络结构基于Inception V3,选择在其中一个Block加入提出的两个Attention Module；其中使用Channel Attention模块来提取通道间依赖，通过使用Spatial Attention来获取空间的依赖。本发明为了克服错误标签和背景信息的影响。使用残差学习将通道注意力和空间注意力结合起来。并使用自我注意作为网络的一部分来获取更长期的时间信息。在模型中，利用了空间和通道的注意力，并且在模块设计中只使用二维通道的注意力。

主权项

1.一种基于注意力机制的行为识别系统，其特征在于，由输入、中间Block、输出构成；输入端为RGB图像,其中的Attention Module能任意嵌入在其中一个Block；注意力模块主要分为通道间注意力模块Channel Attention和空间注意力模块；Spatial Attention；视频中的一帧图像输入后，经过前馈运算后，卷积神经网络输出对应行为的类别；所述系统整个网络结构基于Inception V3,选择在其中一个Block加入两个注意力模块Attention Module；其中使用Channel Attention模块提取通道间依赖，通过使用Spatial Attention获取空间的依赖；整体系统通过输入的视频数据切分为图像数据后进行行为识别。