[发明专利]一种基于图卷积网络的未剪辑视频动作时序定位方法

说明书

本发明公开了一种基于图卷积网络的未剪辑视频动作时序定位方法，包括：获取带标注的未剪辑的视频中每个视频片段是否为动作的置信度分数；用“双阈值法”对视频片段进行合并，获得视频的动作提议；计算动作提议与真值的交叠率IoU值，将IoU值满足条件的动作提议作为图模型的节点；计算邻接矩阵定义图模型中任意两个节点之间的相似度；获得图模型中任意一个节点与其他所有节点之间的交互信息，并更新图模型中节点的特征表示，然后对动作提议进行时间边界回归和动作分类，得到动作时序定位结果。本发明的方法可以描述数据间的相关性关系，可提高动作时序定位的准确性，同时也可提高定位结果鲁棒性。

技术领域

本发明属于计算机视觉领域，涉及未剪辑视频动作时序定位技术领域，特别涉及一种基于图卷积网络的未剪辑视频动作时序定位方法。

背景技术

未剪辑视频动作定位技术作为视频处理的关键步骤，对视频分析处理有很大的影响，在理论和实际应用中有重要的研究价值。

目前，现有的视频动作时序定位方法普遍存在以下问题：(1)多数未剪辑视频动作时序定位方法是完全基于动作分类方法，根据视频片段的分类结果来确定动作发生的时间区间，但是视频片段定位出的动作发生区间的边界比较模糊，而且在分类过程中会出现分类错误的情况，这会导致最终的定位结果鲁棒性较差；(2)未剪辑视频(比如体育比赛视频)一般都会包含多个相同动作实例，这些动作实例之间具有相关性，利用此相关性可以实现每个动作实例之间可以达到相互促进的效果，提高动作定位的准确性，但是目前提出的未剪辑视频动作定位方法还没有利用此相关性来辅助动作定位。

综上，亟需一种新的未剪辑视频动作时序定位方法。

发明内容

本发明的目的在于提供一种基于图卷积网络的未剪辑视频动作时序定位方法，以解决上述存在的一个或多个技术问题。本发明的方法可以描述数据间的相关性关系，有效地利用视频中动作实例之间的关系，可提高动作时序定位的准确性，同时也可提高定位结果鲁棒性。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于图卷积网络的未剪辑视频动作时序定位方法，包括以下步骤：

步骤1，将带标注的未剪辑的视频分割成多个预设固定长度的视频片段，提取每一个视频片段的深度特征并进行二分类，得到每个视频片段是否为动作的置信度分数；

步骤2，根据步骤1获得的各个视频片段是否为动作的置信度分数，用“双阈值法”对视频片段进行合并；用阈值α确定动作提议的开始，用阈值β确定动作提议的结束，获得所述带标注的未剪辑的视频的动作提议；其中，β＜α；

步骤3，计算步骤2中得到的动作提议与真值的交叠率IoU值，将IoU值满足以下两个条件中任意一个条件的动作提议作为图模型的节点；其中，条件1)为IoU值大于等于预设IoU阈值；条件2)为所有动作提议中IoU值最大的动作提议；动作提议的特征表示由该动作提议包含的所有视频片段的特征向量的平均池化得到，满足条件的动作提议的特征用来初始化节点的表示，用表示图模型中节点的集合；

步骤4，计算邻接矩阵定义图模型中任意两个节点之间的相似度；获得图模型中任意一个节点与其他所有节点之间的交互信息；其中，相似度包括：利用深度特征计算节点之间的相似度；

步骤5，利用步骤4获得的图模型中任意一个节点与其他所有节点之间的交互信息，更新图模型中节点的特征表示；

步骤6，利用步骤5更新之后的节点特征表示对动作提议进行时间边界回归和动作分类，得到最终的未剪辑视频动作时序定位结果。

本发明的进一步改进在于，步骤1中，提取每一个视频片段的深度特征并进行二分类的步骤具体包括：用在Kinetics数据集上预训练的分类器提取每一个视频片段的深度特征并进行二分类。