[发明专利]一种人体行为识别方法

权利要求书

1.一种人体行为识别方法，其特征在于，包括如下步骤：

步骤1：获取待处理视频中T个视频帧，将其输入行为识别模型，提取时空特征图；所述行为识别模型使用训练后的时间位移网络TSM；

步骤2：将提取的时空特征图送入循环三维十字交叉注意力模块；所述循环三维十字交叉注意力模块由三个串联的三维十字交叉注意力模块组成；每个三维十字交叉注意力模块对输入特征图通过卷积操作降维；再通过关联操作，获得时空特征图中每个像素点与其所在水平、竖直和深度方向上像素点之间的连接关系；然后通过聚合操作对连接关系加权求和，获得融合了上下文信息的时空特征图；具体如下：

步骤2-1：所述三维十字交叉注意力模块内部包含卷积层、关联操作、聚合操作；

步骤2-1-1：所述卷积层包括三个并行的3D卷积层，分别对输入的时空特征图进行卷积运算，得到三个时空特征图，分别为第一时空特征图、第二时空特征图和第三时空特征图；

步骤2-1-2：所述关联操作对第一时空特征图和第二时空特征图进行加权求和运算，获得每个像素点与其所在水平、竖直和深度方向上像素点之间的连接关系，生成一个新的特征图，具体为：

将第一和第二时空特征图分别表示为Q与K，其中C、T、H、W分别表示时空特征图的通道数、时间长度、高度和宽度；将特征图Q的时空维度上的任意点，表示为u，特征图Q沿着通道维度的一个向量表示为通过从K上与u同样的行、列或深度方向提取特征向量，得到一个向量集共包含T+H+W-2个元素，其中第i个元素表示为其中i∈[1,2,…,T+H+W-2]；

按照如下公式(1)进行关联操作：

其中，d_i,u∈D表示Q_u与Ω_i,u的关联程度，

步骤2-1-3：沿通道方向在D上进行softmax运算，得到新的时空特征图，表示为用A_i,u表示注意力图A在位置u处生成的向量的第i个元素，按照如下公式(2)进行softmax运算：

将第三时空特征图表示为V，对于任意位置u，由同行、同列和同深度方向上所有点组成的特征向量集合，表示为

按照如下公式(3)进行聚合操作，得到输出特征图H：

其中是向量集Φ_u的第i个向量，表示输出特征图在位置u处的特征向量；

步骤2-2：所述循环三维十字交叉注意力模块由三个串联的三维十字交叉注意力模块组成；

三个三维十字交叉注意力模块的串联方式按照如下公式(4)进行：

其中，X表示循环三维十字交叉注意力模块的输入时空特征图；表示三维十字交叉注意力模块；γ表示一个可学习的标量参数，三个三维十字交叉注意力模块共享γ；Y″表示循环三维十字交叉注意力模块输出的融合了上下文信息的时空特征图，其维度与输入的时空特征图维度X相同；

步骤2-3：最终提取的融合了上下文信息的时空特征图通过一个或多个连续的循环三维十字交叉注意力模块得到；

步骤3：将融合了上下文信息的时空特征图送入行为识别模型，得到人体行为识别结果。

2.根据权利要求1所述的一种人体行为识别方法，其特征在于，所述时间位移网络TSM的训练过程如下：

步骤1-1：获取训练样本，每个训练样本包括T个待测试视频帧，以及与待测试视频帧对应的真实行为类别；

步骤1-2：将训练样本输入待训练时间位移网络TSM；

步骤1-3：利用待训练时间位移网络TSM输出结果，确定各训练样本的预测真实行为类别；

步骤1-4：根据各训练样本的预测真实行为类别、真实行为类别和预设损失函数，确定损失值；

步骤1-5：根据损失值判断待训练时间位移网络TSM是否收敛；如果收敛，则待训练时间位移网络TSM为训练完成的行为识别模型；

如果未收敛，则调整待训练时间位移网络TSM的网络参数，并返回步骤1-2。

3.根据权利要求1所述的一种人体行为识别方法，其特征在于，所述T＝8。