[发明专利]一种基于知识蒸馏的弱监督视频时序行为定位方法

摘要

本发明公开了一种基于知识蒸馏的弱监督视频时序行为定位方法。包括具体步骤如下：构建分类器模型，选定一个行为类别的已剪切视频，对该视频进行视频特征提取和嵌入特征计算；利用嵌入特征计算Pcls和W0，之后计算出Pscore；通过Pscore计算交叉熵损失来更新分类器模型中各个模块的相关参数。构建教师学生网络模型，选择一个该行为类别的未剪切视频，通过特征提取模块提取特征，通过嵌入特征模块计算该未剪切视频的嵌入特征，然后将该嵌入特征通过背景干扰抑制模块和特征对齐模块处理后得到其增强特征；将增强特征通过非极大值抑制法计算出最终的定位结果。通过本方法可以降低背景信息带来的干扰和提高行为信息表达的完整性,使最终的定位结果更加准确。