[发明专利]视频视觉关系检测的关系片段连接方法

权利要求书

1.一种视频视觉关系检测的关系片段连接方法，其特征在于，通过建立树的结构，保留关系片段间多种可能的连接方式，然后利用前后文的信息来进行各个连接方式间的选择和处理；所述的关系片段连接方法；其中，本发明采用了树的结构来进行关系片段的连接；其中，所述树结构中，每个节点代表一个关系片段，包含：关系主语、谓语和宾语的三元组、主语和宾语的轨迹片段以及预测的置信分数；树的每一层代表一个视频片段，在该层中的每个节点都为该视频片段中检测出的关系片段；每棵树构建一个视觉关系的所有可能连接方式，从根节点到叶子节点的一条路径即代表一种可能的连接构成，即一种连接假设；在多假设连接的过程中，视频片段会按照时间顺序被依次输入和处理，即每一处理周期中，由之前视频片段构建的多假设树用当前视频片段中的关系片段来更新；

多假设连接方法的每一处理周期中，依次通过如下三个操作：连接筛选、假设计分、树枝修剪：

连接筛选，即每棵树的每个叶子节点都要从当前视频片段中选择所有可以连接的关系片段进行连接，构成新的叶子节点，也即向现有树上添加新的待连接关系片段；

假设计分，即对当前每棵树中的每个连接假设进行置信分数的计算，即确定各个假设的可信度；

树枝修剪，即根据现有信息对树进行剪枝，去掉已可以判定为低可信度的假设；

所述的连接筛选，具体操作步骤如下：

步骤1：每棵树的每个叶子节点选取所有满足条件的待连接关系片段进行连接，构成新的叶子节点；这里，所述选取所有满足条件的待连接关系片段进行连接，其连接条件为关系三元组相同、且主语连接分数和谓语连接分数都大于阈值；主语和谓语连接分数的计算公式设计如下：

s_con,s＝α·vIoU_s+β·s_s

s_con,o＝α·vIoU_o+β·s_o

vIoU的定义为两个轨迹的时间重合区间里每一帧上的IoU之和，vIoU_s和vIoU_o分别计算待连接关系片段和叶子节点间主语和宾语轨迹的vIoU，而s_s和s_o为待连接关系片段中主语和谓语标签预测的置信分数，α和β为超参数；

步骤2：将未被任何叶子节点选择的关系片段作为根节点生成新的树；

所述的假设计分，具体操作步骤如下：

步骤1：遍历当前每棵树中的每个连接假设，对它们进行置信分数的计算；置信分数的计算公式设计如下：

s_path＝AVG(s_rel)

其中，s_rel为每个节点的节点分数，它是上一步骤中的两个连接分数以及谓语预测置信分数s_p的加权平均值，γ为超参数，根节点由于无法计算连接分数，所以其节点分数设置为其关系三元组的总预测置信分数，即s_s*s_o*s_p/10^f，f为缩放因子，用于保证计算出的根节点的节点分数的数量级与其他节点相同，s_path是树中的每个连接假设的分数，即每条从根节点到叶子节点的路径的分数，由路径中经过的每个节点分数取平均而得，用于表示该连接假设的可信度；AVG()表示取平均值的函数操作。