[发明专利]基于弱监督学习的视频时序行为检测方法

说明书

本发明提出一种基于弱监督学习的视频时序行为检测方法，采用对抗思想，通过加入精细化分层对片段级的行为边界进行切分，减少时序检测下行为实例的冗余信息；采用GCN显式建模片段的相似关系，提出了类别片段融合的内外对比损失来监督视频特征的中间表示，通过增大前景与背景间的特征距离，减小相同类别间的特征距离来解决上下文混淆问题，阈值融合得到“行为提案”，实现行为实例结构上完整性与内容上独立性定位的目的；采用互补思想，针对视频信息在特征学习、关系推理过程中的丢失问题，本发明提出将全局节点加入到互补学习层，将学习后的特征根据时间的连续性进行级联与全局节点进行相似度量，保证视频信息的完整性及行为识别的准确性。

技术领域

本发明涉及视频行为定位方法，具体涉及一种基于弱监督学习的视频时序行为检测方法。

背景技术

随着电子拍摄设备及视频数据的急剧增多，对于视频时序行为定位而言，需要大量的标注信息进行训练学习，而精准的时序边界标注成本极其昂贵并且容易出错，很大程度上限制了时序行为检测算法的应用，弱监督应时而生。基于弱监督的行为定位技术，在训练过程中仅使用视频级标签，能进一步地减少人力资源和时间的浪费以及标注误差，具有很好的灵活性。

目前弱监督的行为定位方法分为两大类：一类是将弱监督时序行为定位作为视频识别任务，引入前景和背景分离注意力机制来构建视频级特征，然后应用行为分类器识别视频；另一类则将此问题看作是多实例学习问题(MIL)，将整个未剪辑视频看作是一包实例，分割成多个时间段，并分别对每个时间段进行分类，然后将这些片段级预测进行合并，使用MIL得到最终的视频级分类。尽管现有的方法取得了一定的效果，但依旧不能很好的应对现阶段存在的两大问题：(1)行为完整性建模问题，在弱监督的设置下，预测出完整的行为变得异常复杂。如图1(a)所示，Gt所示区间代表真实行为范围，而Pred区间代表模型的预测范围，一个完整的游泳行为被预测成多个区间更小的行为，这些部分未能被看做一个完整的整体；(2)动作上下文混淆问题，即如何仅通过视频级标签将行为与高度相关的上下文区别开来。视频级别的分类器学习具有相同标签视频之间的相关性，如图1(b)所示，这些内容不仅包括共同的行为，而且还包含密切相关的上下文背景，模型不能将行为从上下文中分离出来，导致错误的预测。

针对上述问题，现有的解决方法有随机擦除、类无关的注意力建模、判别特征学习等，这些方法要么是过度关注辨别度高的片段忽略辨别度低的片段；要么就是只用特征相似度来提供训练监督，不建模特征关系进行预测；要么是因为划分片段策略的问题导致融合后的行为实例存在冗余信息；没有视频信息完整性验证过程，在视频划分后一系列的特征学习、关系推理的过程中会存在行为信息丢失导致行为识别错误的问题，从而导致模型无法取的很好的检测性能。

发明内容

本发明要解决的问题是针对长视频中行为实例没有起止边界标注的情况下，如何将视频中不同行为实例及背景进行精确分割，进而实现长视频的时序行为检测。

本发明是采用以下的技术方案实现的：一种基于弱监督学习的视频时序行为检测方法，其特征在于包括：

步骤A、通过双流膨胀卷积网络(I3D)对未剪辑视频进行时空特征提取，将提取的特征输入到边界回归层进行片段级边界的精细切分；

将提取的特征输入到边界回归层包括：首先堆叠三个相同的时间卷积块，随着时间的卷积滤波，每个时间卷积块有2048个卷积核，有一个BN层和RELU层，最后，再添加一个时间卷积块去输出边界回归值进行精细切分；

步骤B、将切分特征作为图卷积网络(GCN)的节点进行关系推理，设计类别片段融合的内外对比(Interal-External Comparison，IEC)损失，监督视频特征的中间表示，增大前景与背景、不同类别之间的特征距离，阈值融合得到“行为提案”；

步骤C、通过多实例学习分类器得到集合类别置信度，将其mAP作为性能评价指标。