[发明专利]一种基于慢动作增强的弱监督视频时间动作定位方法

说明书

本发明公开了一种基于慢动作增强的弱监督视频时间动作定位方法，由慢动作相关挖掘模块和定位模块组成，慢动作相关挖掘模块将融合视频特征作为输入，并输出慢动作相关掩码，定位模块以慢动作相关挖掘模块输出的慢动作相关掩码为输入，生成慢动作增强特征，接着，以慢动作增强特征和融合视频特征为输入，通过双流分支定位网络，最终产生时间动作定位结果。

技术领域

本发明涉及计算机多媒体技术领域，更具体的说是涉及一种基于慢动作增强的弱监督视频时间定位方法。

背景技术

目前，随着视频内容的爆炸式增长，学习和理解海量视频数据已经成为计算机视觉领域中炙手可热的研究方向。其中，时间动作定位是视频理解研究方向中一个既基础又极具挑战性的任务，旨在对未修剪视频中的动作实例进行定位和分类。随着深度学习的快速发展，近年来出现了很多全监督设定下的时间动作定位算法，这些算法具有可观的性能。这些基于全监督设定的方法需要在训练期间使用精确的时间边界标注对每个动作实例进行监督。然而，视频中动作实例的时间边界标注是非常耗时、成本极高的，且往往对视频中动作实例的时间边界标注的质量往往难以保证。因此，只需要视频级动作类别标签的弱监督时间动作定位(Weakly-supervised Temporal Action Localization，W-TAL)则是一种更为合理的选择，受到了广泛的关注。与精确的动作实例时间边界标注相比，视频级动作类别标签只要求描述视频中存在哪种动作，它更易于采集，并有助于避免人工标注者引入的定位偏差。

虽然现有的弱监督时间动作定位工作已经取得了很大的进展，但它们忽略了动作实例具有不同的发生速率，尤其是慢动作。慢动作是指以比正常速度更慢的速度进行的动作，在时间动作定位任务中十分常见，如体育视频中常出现慢动作回放。在公开数据集THUMOS’14中，有64.0％以上的视频和26.4％的动作实例包含慢动作实力片段。现有工作通常是从视频帧中以固定速率采样提取特征，然后对提取的特征进行处理以得到最终的预测结果。在确定的采样率下，研究者主要考虑以正常速率发生的动作，即正常运动，而忽略了慢动作实例片段。因此，对于现存的弱监督时间动作定位框架来说，很难对慢动作实例片段进行有效定位。

因此，提出一种基于慢动作增强的弱监督视频时间定位方法，即慢动作增强定位网络，增强定位网络对慢动作实例片段的定位能力，更好地完成弱监督时间动作定位任务是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于慢动作增强的弱监督视频时间动作定位方法，由慢动作相关挖掘模块和定位模块组成，慢动作相关挖掘模块将融合视频特征作为输入，并输出慢动作相关掩码，定位模块以慢动作相关挖掘模块输出的慢动作相关掩码为输入，生成慢动作增强特征，接着，以慢动作增强特征和融合视频特征为输入，通过双流分支定位网络，最终产生时间动作定位结果。

为了实现上述目的，本发明采用如下技术方案：

一种基于慢动作增强的弱监督视频时间动作定位方法，包括括：慢动作相关挖掘模块和定位模块；

所述慢动作相关挖掘模块将融合视频特征作为输入，并输出慢动作相关掩码，所述定位模块以慢动作相关挖掘模块输出的慢动作相关掩码为输入，生成慢动作增强特征，以慢动作增强特征和融合视频特征为输入，通过双流分支定位网络，产生时间动作定位结果。

优选的，所述视频时间动作定位方法具体包括：

S1、给定视频V，提取视频特征，将视频特征在特征维度上进行拼接，得到融合视频特征X；

S2、对融合视频特征X进行下采样，生成下采样特征将下采样特征输入至基线网络生成下采样类别激活序列对CAS_sub在类别维度C上做最大池化操作并并沿时间维度进行最大最小值归一化，生成下采样掩码M_sub，对下采样掩码M_sub进行平滑处理，得到平滑下采样掩码M_smooth，对平滑下采样掩码M_smooth进行上采样，得到慢动作相关掩码