[发明专利]一种人体行为识别方法

说明书

本发明公开了一种人体行为识别方法，获取待处理视频中预设数量个视频帧后，将其输入预先训练好的行为识别模型，使行为识别模型提取视频片段的时空特征；对于提取的时空特征图，每次沿着横向、纵向和深度方向对同一条直线上的点的成对关系进行建模，形成十字交叉注意力；通过堆叠十字交叉注意力形成递归连接，点之间的关系从直线传递到平面，最后传递到整个时空空间，利用分解的稀疏连接图重建密集的全局上下文信息，得到融合了上下文信息的时空特征图；最后将时空特征图送入行为识别模型，得到人体行为识别结果。本发明能以较小的计算代价和内存消耗提高人体行为识别模型的准确率。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种人体行为识别方法。

背景技术

人体行为识别作为计算机视觉中的一个基本问题，其目的是为每个视频序列分配行为标签，在人机交互、智能监控、基于内容的视频检索等方面有着广泛的应用。

相关技术中，行为识别模型通过堆叠局部性的卷积和循环操作进行长距离上下文建模。具体地说，通过2D卷积神经网络，提取空间上的外观特征，后接循环神经网络建模时间关系；或将光流图像作为输入的时间流，将RGB帧作为输入的空间流，构成双流卷积神经网络，进行时间和空间上的建模；另一种提取时空特征的方法是采用3D卷积神经网络，将卷积层中的2D卷积核扩展为3D卷积核，同时建模时间和空间关系，但存在计算量大、参数多、易产生过拟合的问题。对于复杂的场景，仅通过堆叠多个基于局部操作的层来捕获和建模长距离上下文信息是很困难的。一种建立长期关系的有效方法是非局部注意力机制，通过非局部注意力模块关注所有位置并在特征空间中取其加权平均来计算序列中每个位置的响应。然而，非局部注意力模块计算代价大，难以在长距离时空上下文建模中应用。

发明内容

为了克服现有技术的不足，本发明提供了一种人体行为识别方法，获取待处理视频中预设数量个视频帧后，将其输入预先训练好的行为识别模型，使行为识别模型提取视频片段的时空特征；对于提取的时空特征图，每次沿着横向、纵向和深度方向对同一条直线上的点的成对关系进行建模，形成十字交叉注意力；通过堆叠十字交叉注意力形成递归连接，点之间的关系从直线传递到平面，最后传递到整个时空空间，利用分解的稀疏连接图重建密集的全局上下文信息，得到融合了上下文信息的时空特征图；最后将时空特征图送入行为识别模型，得到人体行为识别结果。本发明能以较小的计算代价和内存消耗提高人体行为识别模型的准确率。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：获取待处理视频中T个视频帧，将其输入行为识别模型，提取时空特征图；所述行为识别模型使用训练后的时间位移网络TSM；

步骤2：将提取的时空特征图送入循环三维十字交叉注意力模块；所述循环三维十字交叉注意力模块由三个串联的三维十字交叉注意力模块组成；每个三维十字交叉注意力模块对输入特征图通过卷积操作降维；再通过关联操作，获得时空特征图中每个像素点与其所在水平、竖直和深度方向上像素点之间的连接关系；然后通过聚合操作对连接关系加权求和，获得融合了上下文信息的时空特征图；具体如下：

步骤2-1：所述三维十字交叉注意力模块内部包含卷积层、关联操作、聚合操作；

步骤2-1-1：所述卷积层包括三个并行的3D卷积层，分别对输入的时空特征图进行卷积运算，得到三个时空特征图，分别为第一时空特征图、第二时空特征图和第三时空特征图；

步骤2-1-2：所述关联操作对第一时空特征图和第二时空特征图进行加权求和运算，获得每个像素点与其所在水平、竖直和深度方向上像素点之间的连接关系，生成一个新的特征图，具体为：