[发明专利]一种基于知识蒸馏的弱监督视频时序行为定位方法

说明书

本发明公开了一种基于知识蒸馏的弱监督视频时序行为定位方法。包括具体步骤如下：构建分类器模型，选定一个行为类别的已剪切视频，对该视频进行视频特征提取和嵌入特征计算；利用嵌入特征计算Psubgt;cls/subgt;和Wsubgt;0/subgt;，之后计算出Psubgt;score/subgt;；通过Psubgt;score/subgt;计算交叉熵损失来更新分类器模型中各个模块的相关参数。构建教师学生网络模型，选择一个该行为类别的未剪切视频，通过特征提取模块提取特征，通过嵌入特征模块计算该未剪切视频的嵌入特征，然后将该嵌入特征通过背景干扰抑制模块和特征对齐模块处理后得到其增强特征；将增强特征通过非极大值抑制法计算出最终的定位结果。通过本方法可以降低背景信息带来的干扰和提高行为信息表达的完整性,使最终的定位结果更加准确。

技术领域

本发明涉及时序行为定位技术领域，特别涉及一种基于知识蒸馏的弱监督视频时序行为定位方法。

背景技术

近几十年来，视频行为分析技术得到了飞速发展，目前科研人员在对已剪切视频进行行为分类的行为识别任务上已取得很好的研究成果。然而现实场景中采集的视频数据大多为未剪切视频，与已剪切视频不同的是，一个未剪切视频通常较长，并可能包含有多个同一动作类别或不同动作类别的行为实例，且常常还包含有与动作本身不相关的背景片段。因此未剪切视频相较于已剪切视频十分复杂，而采用人工来对未剪切视频进行剪辑以得到已剪切视频十分耗费人力资源，因此使用计算机技术自动完成未剪切视频中存在的行为实例定位与分类具有重要意义，视频时序行为定位任务也随之被提出并研究。

此外，关于背景信息易干扰到知识蒸馏。在以已剪切视频为源域、未剪切视频为目标域的设置下，由于目标域中未剪切视频相较于已剪切视频存在背景信息，直接进行知识蒸馏来快速训练目标域上的分类器是不可靠的，因为目标域分类器不具备对背景信息处理的能力，导致分类损失难以收敛，或者分类器将视频背景信息也误激活为各种行为信息。因此，为了保证源域向目标域传递可靠的分类知识，那么研究如何合理处理背景信息带来的干扰十分重要。而且，已有的基于知识蒸馏的弱监督视频时序行为定位算法通常都是从源域向目标域仅传递分类知识，其效果往往只是更高效地训练、优化分类器，使分类器能更好地对未剪切视频进行分类，然而分类器对行为的表达仍然局限于只关注判别性帧。这是由于视频级类别注释这种弱标签导致的，因此如何进一步挖掘源域和目标域上的潜在信息，合理设计网络向目标域传递额外的知识，来提高网络对视频行为特征表达的完整性是一个重大挑战。如此，合理处理背景信息干扰以及完整表达视频的行为特征是该类研究最主要的研究课题。

发明内容

针对现有技术存在的上述问题，本发明要解决的技术问题是：通过降低视频背景信息干扰带来的蒸馏知识偏差和提高行为表达信息的完整性，来进一步提高行为定位的准确性。

为解决上述技术问题，本发明采用如下技术方案：一种基于知识蒸馏的弱监督视频时序行为定位方法，包括如下步骤：

S100：选取公开的已剪切视频数据集A₁，该已剪切视频数据集A₁包括多个已剪切视频，该已剪切视频数据集A₁包含C个行为类别；

S200：预设最大迭代次数，构建已剪切视频分类器模型，该已剪切视频分类器模型由特征提取模块、嵌入模块、判别模块和片段注意力模块构成；

S210：利用特征提取模块提取A₁中每个已剪切视频的视频特征，得到视频特征集

其中，B代表批次训练的样本数量，D₀代表每一帧视频提取的特征维度，T代表视频采样后的时间长度，R代表实数域；

S220：利用嵌入模块计算视频特征集F中每个视频的嵌入特征，得到嵌入特征集F_em，计算表达式如下：

F_em＝Conv1d₁(ReLU(F))  (2-1)