[发明专利]一种自下而上-自上而下的行为识别系统

说明书

本发明公开了一种自下而上‑自上而下的行为识别系统，包括SBTA模块和STBTA模块；所述SBTA模块和STBTA模块通过自下而上自上而下机制和注意机制对局部特征和全局信息进行编码。本发明的模块可以直接在图像或场景中适当的区域捕获长程依赖；使用最大池和平均池来生成通道统计和空间网格统计；提高其对信息功能的敏感度并选择有用的信息，不仅可以选择聚焦位置，还可以增强该位置对象的不同表示；本发明提出的方法是前馈方式，可以作为一种有效，简单和可解释的方法直接插入到2D/3D CNN中；即使只有STBA和STBTA，在性能上实现了很好的提升。

技术领域

本发明涉及行为识别，具体涉及一种自下而上-自上而下的行为识别系统。

背景技术

目前，视频中的人类动作识别在计算机视觉中占据重要地位，并引起了广泛关注。基于CNN的方法在图像分类方面取得了很大进展。此外，与标记的视频数据相比，图像分类任务有更多标记图像来训练网络。鉴于这两点，许多方法通过基于图像的分类方法组合来自视频的图像的预测以对视频进行分类。 然而，视频不仅拥有与帧之中和之间的人类动作相关的许多无关信息，而且还包括沿帧的更多时间信息， 即长范围时间依赖。

在视觉任务中，一些方法试图捕获长范围依赖依赖。一些模块使用单独的主干，以多种分辨率独立处理图像，并在网络中进行多尺度融合，这种方法比较有效但是很耗时。非局部神经网络使用非本地方式有效地捕获全局信息，但是有高内存成本并且只能放入神经网络中的中间层或最后的层。 在不同领域如如动作检测和图像分割，也需要更好地探索自下而上-自上而下的机制和特定任务的注意力机制。

现有的技术方案一为Stacked Hourglass Networks（SHN），SHN重复自下而上，自上而下的处理过程，通过中间监督来改善人体姿态估计的性能，使用具有跳过层的单个管道来保留每个分辨率的空间信息。但更大的区域通常包括不相关的信息和特征图之间的重复信息，而SHN认为它们的重要性一样。

现有的技术方案二为Temporal Segment Networks(TSN), TSN使用多个并行的子网络，子网络之间共享权值，在网络的最后一层进行特征融合，可以有效的获取时间上的长范围依赖。其中原始的输入为视频，解码成图像之后分为三段，从每段中随机选择一帧， 经过数据增强后输入网络。

现有的技术方案一SHN使用中间监督信息来考虑单人的姿势识别问题，模块的设计主要限制与解决姿势识别的问题，没有考虑行为识别中背景信息和周边信息的影响，在场景复杂及多人场景下表现效果较差。

现有的技术方案二TSN使用并行结构来捕捉长范围时间依赖，忽略了空间上的长范围依赖，在空间维度上仅使用基本的卷积和降采样过程来捕捉长范围空间依赖，存在大量视频相邻图像之间的冗余信息和背景信息。

发明内容

本发明针对上述问题，提供了一种自下而上-自上而下的行为识别系统。

本发明采用的技术方案是：一种自下而上-自上而下的行为识别系统，包括SBTA模块和STBTA模块；所述SBTA模块和STBTA模块通过自下而上自上而下机制和注意机制对局部特征和全局信息进行编码；

自下而上自上而下机制为对特征图进行逐层下采样后逐层上采样，通过残差联接保留多尺度学习，并具有科学系参数。

进一步地，所述系统最大池化层用于将特征处理到非常低的分辨率；任何相邻层之间均存在残差连接模块，在此模块中首先对输入功能进行三次下采样，在达到最低分辨率后，网络开始按比例进行双线性上采样并对相应特征进行组合；此外，增加了空间和时间注意力模块，以强调关键局部区域的功能，进一步提高网络性能；整个模块类似与一个沙漏的设计，并且两端是相互对称的；整个模块的输出对于不同通道、不同空间位置点都赋予了不同权重。