[发明专利]一种基于图卷积网络的未剪辑视频动作时序定位方法

权利要求书

1.一种基于图卷积网络的未剪辑视频动作时序定位方法，其特征在于，包括以下步骤：

步骤1，将带标注的未剪辑的视频分割成多个预设固定长度的视频片段，提取每一个视频片段的深度特征并进行二分类，得到每个视频片段是否为动作的置信度分数；

步骤2，根据步骤1获得的各个视频片段是否为动作的置信度分数，用“双阈值法”对视频片段进行合并；用阈值α确定动作提议的开始，用阈值β确定动作提议的结束，获得所述带标注的未剪辑的视频的动作提议；其中，β＜α；

步骤3，计算步骤2中得到的动作提议与真值的交叠率IoU值，将IoU值满足以下两个条件中任意一个条件的动作提议作为图模型的节点；其中，条件1)为IoU值大于等于预设IoU阈值；条件2)为所有动作提议中IoU值最大的动作提议；动作提议的特征表示由该动作提议包含的所有视频片段的特征向量的平均池化得到，满足条件的动作提议的特征用来初始化节点的表示，用表示图模型中节点的集合；

步骤4，计算邻接矩阵定义图模型中任意两个节点之间的相似度；获得图模型中任意一个节点与其他所有节点之间的交互信息；其中，相似度包括：利用深度特征计算节点之间的相似度；

步骤5，利用步骤4获得的图模型中任意一个节点与其他所有节点之间的交互信息，更新图模型中节点的特征表示；

步骤6，利用步骤5更新之后的节点特征表示对动作提议进行时间边界回归和动作分类，得到最终的未剪辑视频动作时序定位结果。

2.根据权利要求1所述的一种基于图卷积网络的未剪辑视频动作时序定位方法，其特征在于，步骤1中，提取每一个视频片段的深度特征并进行二分类的步骤具体包括：用在Kinetics数据集上预训练的分类器提取每一个视频片段的深度特征并进行二分类。

3.根据权利要求1所述的一种基于图卷积网络的未剪辑视频动作时序定位方法，其特征在于，步骤2中，用“双阈值法”对视频片段进行合并的步骤具体包括：如果某一个视频片段的动作置信度分数大于等于α且该视频片段之前的相邻视频片段的动作置信度分数小于α，则该视频片段为动作发生的起点；从起点开始向后扩展，如果后面连续的视频片段的动作置信度分数大于β则属于同一个动作提议；直至动作置信度分数小于等于β的视频片段，该视频片段为动作提议的终点；

通过设置不同的阈值α和阈值β，得到一组动作提议

4.根据权利要求1所述的一种基于图卷积网络的未剪辑视频动作时序定位方法，其特征在于，步骤3中，用表示图模型中节点的集合，表示为：

其中，N是节点的个数，i表示图模型中的第i个节点，t_s，i，t_e，i和k_i分别是该节点对应动作提议的开始时间、结束时间和动作类别，F_i是该节点的初始特征表示；

步骤4中，利用深度特征计算节点之间的相似度的步骤包括：计算图模型中任意两个节点X_i和X_j的特征向量点积值，得到相似性关系adj₁，计算公式为：

adj₁(i，j)＝F_i·F_j

式中，·表示向量点积。

5.根据权利要求4所述的一种基于图卷积网络的未剪辑视频动作时序定位方法，其特征在于，相似度还包括：利用动作提议对应的时间区间计算各节点之间的相似度；

具体步骤包括：计算图模型中任意两个节点X_i和X_j对应的动作提议的时间重合度，得到一种相似性关系adj₂，表达式为：

式中，i和j分别表示图模型中的第i和第j个节点，min(·，·)表示两者中的最小值，max(·，·)表示两者中的最大值；

相似度由adj₁和adj₂加权求和得到。