[发明专利]一种基于深度学习的细粒度行为识别方法

权利要求书

1.一种基于深度学习的细粒度行为识别方法，其特征在于：包括如下步骤：

S100：选用包含N个视频数据的公开数据集其中V_i表示第i个视频，每个视频包含该视频的事件级语义标签集合级语义标签和元素级语义标签其中，C_eve、C_set和C_ele分别表示事件级、集合级和元素级对应的类别数目；

S200：构建细粒度行为识别模型M，该细粒度行为识别模型M包括基础行为识别模型TSN/TSM和行为扩展模型DFLM；

S300：令i＝1；

S310：将第i个视频输入到基础行为识别模型TSN/TSM中，TSN/TSM模型共包含四层结构，从TSN/TSM模型的第二层提取到相应的粗粒度特征x_eve∈R^c×h×w,从TSN/TSM模型的第三层提取到相应的中粒度特征x_set∈R^c×h×w,从TSN/TSM模型的第四层提取到相应的细粒度特征x_ele∈R^c×h×w，其中c表示特征通道数，h和w分别表示特征矩阵的高和宽，粗粒度特征x_eve对应事件级语义标签y_eve，中粒度特征x_set对应集合级语义标签y_set，细粒度特征x_ele对应元素级语义标签y_ele；

每种粒度特征与对应的级语义标签构建得到三条支流结构，分别为事件级支流，集合级支流和元素级支流，每条流的监督信息就为对应的级语义标签；

S320：扩展模型DFLM运算包括自底向上阶段和自顶向下阶段两个阶段；

S321：执行自底向上阶段：

S321-1：拼接细粒度特征x_ele和中粒度特征x_set，然后将拼接结果输入到集合级支流中计算元素级行为的共同语义特征通过将与粗粒度特征x_eve进行拼接，然后将与粗粒度特征x_eve的拼接结果输入到事件级支流中计算集合级行为的共同语义特征具体表达式如下：

其中，表示特征拼接操作，Φ_set和Φ_eve分别表示集合级支流和事件级支流中的conv1×1层；

S321-2：分别计算集合级分支特征存储向量和事件级分支特征存储向量完成特征存储库的更新过程，计算表达式如下：

其中，i和j分别表示对应共同特征所属较为粗粒度类别的真实标签，λ表示超参数；

S321-3：使用L₂均方损失优化对应粗粒度支流得到的共同语义特征，计算表达式如下：

S322：执行自顶向下阶段：

S322-1：计算元素级支流相似矩阵A_ele和集合级支流的相似矩阵A_set，计算表达式如下：

其中，W_ele和W_set是可学习的矩阵参数，Γ(·)是卷积核大小为1的2D卷积层；

S322-2：对A_ele和A_set进行归一化操作，表达式如下：

C_ele＝softmax(A_ele)，C_set＝softmax(A_set) (5)

其中，softmax(·)表示对变量在列维度进行操作，C_ele和C_set分别表示对应的元素级共同注意图和集合级共同注意图，且同时表示了对应的共同语义特征与相应的细粒度特征相似语义部分；

S322-3：根据共同注意力图C_ele和C_set，通过取反操作计算对应的反共现图S_ele和S_set，表达式如下：

S_ele＝1-C_ele，S_set＝1-C_set； (6)

S322-4：通过反共现图S_ele和S_set提取出细粒度特征中类特有特征，计算表达式如下：

其中，表示细粒度类特有特征，表示中粒度类特有特征，S_ele∈R^c×hw以及S_set∈R^c×hw；

S322-5：采用注意力机制对类特有特征进行激活且保存原始特征，计算表达式如下：

其中，和表示用于更新参数的矩阵，σ(·)是基于空间和通道维度的sigmoid激活函数，a_ele和a_set表示相应的类特有注意力权重值，R^c×h×w为R^c×hw的重转化结果；

S322-6：计算激活元素级支流细粒度特征中的类特定信息和集合级支流细粒度特征中的类特定信息，计算表达式如下：

其中，x′_ele表示元素级支流细粒度特征的类特定信息，即元素级新特征；x′_set表示集合级支流细粒度特征中的类特定信息，即集合级新特征；

S400：计算细粒度行为识别模型M模型的总损失函数，表达式如下：

L＝L_c+β·L_s+γ·L_r (10)

其中，β和γ是损失权重调节的超参数；

S500：根据S400中的总损失函数L对细粒度行为识别模型M进行参数更新；

S600：i＝i+1；

S700：如果i大于最大迭代次数，则得到得到训练好的模型M′，并执行下一步；否则返回S310；

S800：将待预测视频的视频数据输入到训练好的模型M′中，得到该待预测视频的元素级新特征x″_ele和集合级新特征x″_set；

S900：将元素级新特征x″_ele和集合级新特征x″_set输入到现有的分类器模型中，分类器模型的输出结果就是对待预测视频的细粒度行为识别结果。

2.如权利要求1所述的一种基于深度学习的细粒度行为识别方法，其特征在于：所述S400中计算细粒度行为识别模型M的总损失函数L的具体步骤如下：

S410：计算扩展模型DFLM三条支流预测的分类概率与真实的层次语义标签的损失函数，计算表达式如下：

L_c＝CCE(y_ele,ψ(x_ele))+CCE(y_set,ψ(x_set))+CCE(y_eve,ψ(x_eve)) (11)

其中，CCE(·)表示交叉熵损失函数，ψ(·)表示为细粒度行为识别模型M；

S420：对和进行池化操作，然后利用交叉熵损失对池化操作后的和进行优化，计算表达式如下：

其中，FC(·)表示一个用于生成类别分数的全连接层；

S430：结合S321-3所述损失函数L_r、S410所述损失函数L_c和S420所述损失函数L_s得到模型总损失函数L。