[发明专利]一种基于图卷积网络的未剪辑视频动作时序定位方法

摘要

本发明公开了一种基于图卷积网络的未剪辑视频动作时序定位方法，包括：获取带标注的未剪辑的视频中每个视频片段是否为动作的置信度分数；用“双阈值法”对视频片段进行合并，获得视频的动作提议；计算动作提议与真值的交叠率IoU值，将IoU值满足条件的动作提议作为图模型的节点；计算邻接矩阵定义图模型中任意两个节点之间的相似度；获得图模型中任意一个节点与其他所有节点之间的交互信息，并更新图模型中节点的特征表示，然后对动作提议进行时间边界回归和动作分类，得到动作时序定位结果。本发明的方法可以描述数据间的相关性关系，可提高动作时序定位的准确性，同时也可提高定位结果鲁棒性。

主权项

1.一种基于图卷积网络的未剪辑视频动作时序定位方法，其特征在于，包括以下步骤：步骤1，将带标注的未剪辑的视频分割成多个预设固定长度的视频片段，提取每一个视频片段的深度特征并进行二分类，得到每个视频片段是否为动作的置信度分数；步骤2，根据步骤1获得的各个视频片段是否为动作的置信度分数，用“双阈值法”对视频片段进行合并；用阈值α确定动作提议的开始，用阈值β确定动作提议的结束，获得所述带标注的未剪辑的视频的动作提议；其中，β＜α；步骤3，计算步骤2中得到的动作提议与真值的交叠率IoU值，将IoU值满足以下两个条件中任意一个条件的动作提议作为图模型的节点；其中，条件1)为IoU值大于等于预设IoU阈值；条件2)为所有动作提议中IoU值最大的动作提议；动作提议的特征表示由该动作提议包含的所有视频片段的特征向量的平均池化得到，满足条件的动作提议的特征用来初始化节点的表示，用表示图模型中节点的集合；步骤4，计算邻接矩阵定义图模型中任意两个节点之间的相似度；获得图模型中任意一个节点与其他所有节点之间的交互信息；其中，相似度包括：利用深度特征计算节点之间的相似度；步骤5，利用步骤4获得的图模型中任意一个节点与其他所有节点之间的交互信息，更新图模型中节点的特征表示；步骤6，利用步骤5更新之后的节点特征表示对动作提议进行时间边界回归和动作分类，得到最终的未剪辑视频动作时序定位结果。