[发明专利]利用对抗双向交互网络解决视频时间文本定位任务的方法

说明书

本发明公开了一种利用对抗双向交互网络解决视频时间文本定位任务的方法，主要包括如下步骤：1)设计一种对抗双向交互网络模型完成对于视频片段的定位及定位结果的判别。2)训练得到最终的对抗双向交互网络模型，利用该模型定位出与文本描述相关的视频片段。相比于一般的视频时间文本定位解决方案，本发明利用了对抗双向交互网络，能够更好地定位出与文本描述相关的视频片段。本发明在视频时间文本定位任务中所取得的效果相比于传统的方法更好。

技术领域

本发明涉及视频时间文本定位任务，尤其涉及一种利用对抗双向交互网络解决视频时间文本定位任务的方法。

背景技术

视频时间文本定位任务是一项十分有挑战性的任务，目前吸引了很多人的关注。在该任务中需要系统可以针对于某个特定视频的描述，在视频中定位出与文本描述相关的视频片段。目前视频时间文本定位任务仍然是一个较为新颖的任务，对其的研究还不成熟。与一般的视频内容理解任务不同，视频时间文本定位任务需要对于视频及文本信息的综合理解，丰富复杂的视频及文本信息增加了该任务的难度。

目前已有的视频时间文本定位任务解决方法一般是利用视频动作定位的传统方法。使用一个滑动窗口结构来对于视频进行密集采样，之后分别计算采集的视频样本与所针对的视频描述文本之间的相关程度，将具有最大相关程度的视频样本作为视频时间文本定位的结果。此种方法由于采样的密集性需要巨大的计算量，同时该种方法缺乏了对于视频内容的长程语义理解。为了解决上述问题，本发明使用对抗双向交互网络来解决视频时间文本定位任务，提高视频时间文本定位任务形成视频定位片段的准确性。

发明内容

本发明的目的在于解决现有技术中的问题，为了克服现有技术对于视频时间文本定位任务无法提供较为准确的视频定位片段的问题，本发明提供一种利用对抗双向交互网络解决视频时间文本定位任务的方法。本发明所采用的具体技术方案是：

利用对抗双向交互网络解决视频时间文本定位任务的方法，包含如下步骤：

1.设计一种双向交互网络，基于视频的每个帧图像和输入的文本描述，获取与文本相关的视频帧级别的相关程度分布及整个相关程度分布中具有最大联合相关程度的视频目标片段。

2.利用步骤1中获取的与文本相关的视频帧级别的相关程度分布及整个相关程度分布中具有最大联合相关程度的视频目标片段，设计一种辅助判别网络，验证步骤1获取的与文本相关的视频目标片段的准确性，并利用对抗训练过程提高视频时间文本定位的效果。

3.利用步骤1设计的双向交互网络与步骤2设计的辅助判别网络，进行训练，利用训练出的双向交互网络及辅助判别网络获取与文本描述相关的视频片段。

上述步骤可具体采用如下实现方式：

对于视频时间文本定位任务中视频的每个帧输入到提前训练好的3维卷积网络中，获取视频的帧级别表达v＝(v₁,v₂,...,v_n)，其中v_i代表视频中的第i个帧的帧级别表达，n代表视频中的帧个数。将视频中各个帧的帧级别表达v＝(v₁,v₂,...,v_n)依次输入到双向LSTM网络中，按照如下公式计算得到视频各个帧的语义表达

其中，与分别代表双向LSTM网络中的前向LSTM网络计算与后向LSTM网络计算，与代表前向LSTM网络计算第i次循环的隐层输出与状态值，与代表后向LSTM网络计算第i次循环的隐层输出与状态值，代表视频中的第i个帧的语义表达，代表将与进行连接计算。