[发明专利]一种基于时序类别激活图互补的弱监督视频行为检测方法

摘要

本发明公开了一种基于时序类别激活图互补的弱监督视频行为检测方法。本发明步骤如下：1、对视频数据和视频的类别标注进行预处理，2、特征嵌入模块，来学习嵌入后的特征，3、在线生成时序类别激活图，4、生成时序类别激活图的互补激活图，5、生成检测结果，6、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种弱监督时序行为检测领域中在线生成时序类别激活图并基于此生成互补激活图的方法，以及在弱监督时序行为检测中更加适用的特征嵌入结构，并且获得了目前在弱监督时序行为检测领域中的较好效果，相比于原始的时序类别激活图的方法性能有了很大提升。

主权项

1.一种基于时序类别激活图互补的弱监督视频行为检测方法，其其特征在于：/n首先给定视频数据v，视频数据v中出现的行为类别a，构成二元组v，a作为训练集，具体实现步骤如下：/n步骤(1)、数据预处理：对视频数据v使用现有的经典的抽取视频时空特征的网络结构提取时空特征；/n视频数据v预处理：/n首先抽取所有视频数据v对应的图像帧和光流；其次使用预训练的特征提取网络分别提取图像帧和光流所对应的特征；/n行为类别a预处理：/n每个视频可能包含多个类别，假设有n个类别，首先将视频中出现的行为类别转换成答案字典中的索引值，最后转换为一个n维编码的答案向量；/n步骤(2)、特征嵌入模块/n基于预训练模型，增加特征嵌入模块，使得视频特征对于弱监督视频行为检测任务更加有效；/n步骤(3)、在线生成时序类别激活图模块/n首先将嵌入后得到的视频特征经过注意力网络，得到每个视频特征对应的全部类别的重要度；将每个视频特征的重要度与嵌入后得到的视频特征对应相乘得到重要度特征I，然后根据重要度特征I及分类结果生成对应每一个分类类别的时序类别激活图I；/n步骤(4)、时序类别激活图互补网络/n将时序类别激活图I中大于设定阈值的区域，在嵌入后得到的视频特征中做擦除操作，获得擦除后的视频特征；将擦除后的视频特征经过注意力网络，再次得到每个视频特征对应的全部类别的重要度；将每个视频特征的重要度与擦除后的视频特征对应相乘得到重要度特征II，然后根据重要度特征II及分类结果生成对应每一个分类类别的时序类别激活图II；/n步骤(5)、生成检测结果/n将得到的时序类激活图I和时序类激活图II合并，然后使用阈值法得到检测结果；/n步骤(6)、模型训练/n根据产生的分类预测值同该视频的实际动作标签的差异，并利用反向传播算法(Back-Propagation，BP)对上述定义的神经网络的模型参数进行训练，直至整个网络模型收敛；/n所述的分类预测值指步骤(3)和步骤(4)各自的分类器产生的分类结果。/n