[发明专利]一种基于慢动作增强的弱监督视频时间动作定位方法

权利要求书

1.一种基于慢动作增强的弱监督视频时间动作定位方法，其特征在于，包括：慢动作相关挖掘模块和定位模块；

所述慢动作相关挖掘模块将融合视频特征作为输入，并输出慢动作相关掩码，所述定位模块以慢动作相关挖掘模块输出的慢动作相关掩码为输入，生成慢动作增强特征，以慢动作增强特征和融合视频特征为输入，通过双流分支定位网络，产生时间动作定位结果。

2.根据权利要求1所述的一种基于慢动作增强的弱监督视频时间动作定位方法，其特征在于，所述视频时间动作定位方法具体包括：

S1、给定视频V，提取视频特征，将视频特征在特征维度上进行拼接，得到融合视频特征X；

S2、对融合视频特征X进行下采样，生成下采样特征将下采样特征输入至基线网络生成下采样类别激活序列对CAS_sub在类别维度C上做最大池化操作并并沿时间维度进行最大最小值归一化，生成下采样掩码M_sub，对下采样掩码M_sub进行平滑处理，得到平滑下采样掩码M_smooth，对平滑下采样掩码M_smooth进行上采样，得到慢动作相关掩码

S3、基于慢动作相关掩码M与融合视频特征X，得到慢动作相关的视频特征以融合视频特征X作为正常动作分支的输入，得到CAS_normal，attn_normal，以慢动作相关视频特征X_slow作为慢动作分支的输入，得到CAS_slow，attn_slow；

S4、通过最大池化操作将两分支输出的CAS_normal、attn_normal、CAS_slow、attn_slow进行融合，得到CAS_fuse和attn_fuse，并计算注意力引导的类别激活序列；

S5、应用多实例学习方法，得到视频级别的视频分类得分，在视频V中，对于每一个动作分类，取该类分类得分最高的K个视频片段的分类得分，对这K个分类得分取平均值作为该视频的分类得分，基于预定义的分类阈值对测试视频进行分类，基于动作实例的加权类别激活序列和注意力得分来计算定位结果。

3.根据权利要求2所述的一种基于慢动作增强的弱监督视频时间动作定位方法，其特征在于，所述步骤S1具体包括：

给定未剪辑的视频V，提取RGB视频帧并基于TVL1算法得到视频光流图，将RGB视频帧和光流图均分为T个不重叠的视频切片，每个视频切片包含16个视频帧，则定义该视频为v_i为第i个视频切片，基于I3D网络分别对RGB视频帧和光流图进行视频特征提取，得到RGB视频特征和光流视频特征其中，d为维度特征，将RGB视频特征和光流视频特征在特征维度上进行拼接，构成融合视频特征