[发明专利]视频视觉关系检测的关系片段连接方法

说明书

本发明属于视频分析与理解技术领域，具体为一种视觉关系检测的关系片段连接方法。本发明针对视频视觉关系检测这一任务中极易出现的物体轨迹检测不准确与关系片段预测不准确的问题，采用多假设的思想，通过建立树的结构保留关系片段间多种可能的连接方式，然后利用前后文的信息来进行各个连接方式间的选择和处理。本发明对物体轨迹检测模型与关系预测模型的偏差提供了较好的包容性，能够实现在关系片段连接的步骤中消除一部分模型效果不佳带来的影响，从而得到更为准确的完整视觉关系的检测结果。

技术领域

本发明属于视频分析与理解技术领域，具体涉及在视频中进行视觉关系检测时的一种关系片段连接方法。

背景技术

视觉关系是视频中最重要和最有价值的信息之一，它能够反映视频中物体间的动态交互，从而提供对于视频更全面细致的理解。对视频中的视觉关系进行检测可以建立起视觉与文字间的桥梁，从而促进众多下游视频任务与应用的发展，如视频注释、视频问答等。

视频视觉关系检测这一任务由于其本身的难度以及数据集的缺失，在近几年才开始得到研究者的关注。当前的视频视觉关系检测主要经历了如下的发展。

文献[1]首次定义了视频视觉关系检测任务的目标与评估方式，同时发布了首个用于该任务的数据集ImageNet-VidVRD，并提出了一套可行的解决方案。根据文献定义，视频视觉关系检测需要在视频中追踪所有物体的轨迹以及两两物体间动态变化的视觉关系，由(主语、谓语、宾语)三元组来表示。而文献所提出的解决方法的框架分为3个步骤：1)物体轨迹检测，即检测出视频中所有可能的物体轨迹；2)关系片段预测，即在每个视频片段上检测出两两物体轨迹间的所有视觉关系；3)关系片段连接，即将每个视频片段中检测出的关系片段在时间上连接为不同长度的完整视觉关系。上述步骤也成为了直至目前为止在视频视觉关系检测这一任务上被应用最广泛的操作流程。

文献[2]在关系片段预测这一步引入图卷积网络拉埃进行时间空间两个维度上不同物体间的信息传递，又于关系片段连接这一步在原先贪心连接算法的基础上加入了一个孪生网络来利用物体的外观特征，从而取得了ImageNet-VidVRD数据集上目前的最佳结果。

文献[3]发布了一个更大的视频视觉关系检测数据集VidOR，包含10000个视频，覆盖了80个物体类别和50个视觉关系类别。

文献[4]在关系片段预测这一步中引入了词向量作为语言上下文特征帮助预测，取得了VidOR上目前的最佳结果。

视频视觉关系检测需要在时间和空间两个维度上定位视觉关系，而每个视觉关系的位置和持续时间都不相同，所以正确的将每个视频短片段中检测出的众多关系片段连接到一起尤为重要。目前提出的方法大多针对上述操作流程中的前两个步骤，少数改进了关系片段连接步骤的也未跳出传统贪心连接算法的框架。而传统的连接方法会严重受制于前两个步骤中难以避免的物体轨迹检测不准确与关系片段预测不准确的问题，导致连接效果较差。

针对上述问题，本发明跳出传统贪心连接方法的框架，设计了全新的关系连接方法——多假设连接方法。其对物体轨迹检测模型与关系预测模型的偏差提供了较好的包容性，能够在关系片段连接的步骤中减轻前面步骤模型效果不佳带来的影响，从而得到更为准确的视觉关系检测结果。

发明内容

本发明的目的在于提供一种效果出色、且能包容物体轨迹检测模型与关系预测模型的视频所引入偏差的关系片段连接方法——多假设连接方法，即视频视觉关系检测的关系片段连接方法。

本发明采用多假设的思想，通过建立树的结构，保留关系片段间多种可能的连接方式，然后利用前后文的信息在各个连接方式间进行有一定延迟的选择和处理，从而得到最终连接结果。在获得足够信息进行判断之前，所有可能的连接方式都会被作为一种假设保留下来，这增加了连接选择的合理性与可信度，避免过早进行判断而导致错误的连接。同时，本发明也避免了繁琐的模型训练过程，使得方法更具有易用性和可移植性。