[发明专利]一种基于互补注意力机制循环卷积解码的视频描述方法

说明书

本发明公开了一种基于互补注意力机制循环卷积解码的视频描述方法，用于为给定视频片段生成简短准确的描述。具体包括如下步骤：获取用于训练视频描述生成模型的视频数据集，并定义算法目标；对视频数据集中的全局时序特征以及局部语义特征建模；基于全局‑局部特征在循环卷积解码器上建立互补注意力机制；使用所述模型生成输入视频的描述。本发明适用于真实视频场景的视频描述生成，面对各类复杂情况具有较佳的效果和鲁棒性。

技术领域

本发明属于计算机视觉领域，特别地涉及一种基于全局-局部互补注意力机制循环卷积解码的视频描述方法。

背景技术

在现今社会，视频变成了人类生活中不可或缺的一部分，可以说无处不在。这样的环境使得人们对于视频语义内容的研究也得到了很大的发展，但目前对于视频的大多数研究主要集中在较低层次，比如分类，检测等。得益于循环神经网络的发展，视频描述生成这个新的任务也映入了人们的眼帘。给定一个视频片段，使用经过训练得到的网络模型，自动为视频片段生成一句描述。其在现实社会的应用也很广泛，比如，YouTube上每分钟会产生大约100个小时的视频，如果产生的视频资源没有被很好地标记，那么这些资源就没法被充分的利用，所以视频描述对于网上视频的搜索和检索有着至关重要的作用。此外，视频描述也使得“盲人电影”有了很好的发展，让盲人也能“观看”电影。

现有的视频描述生成方法大都采用编码器-解码器结构，使用编码器提取视频数据的信息并转化为特征，使用解码器将特征解码为语句描述。对于视频数据，编码器一般使用卷积神经网络与循环神经网络相结合的形式，提取的特征为全局的时序特征，比如，用预训练好的卷积神经网络提取一整张视频图像的特征，在这样的情况下，视频帧中存在的一些局部细节信息会被忽视。解码器一般使用单独的循环神经网络，但循环神经网络传递信息的能力会随着描述长度的增加而减弱。

发明内容

为解决上述问题，本发明的目的在于提供一种基于全局-局部互补注意力机制循环卷积解码的视频描述生成方法，用于总结给定视频的主要内容并生成准确的描述。本方法在模型的编码器阶段提取了视频帧图像的局部物体特征，作为全局时序特征的补充信息。在解码器阶段，为了增加循环神经网络的长距离依赖性，在t时间阶段，使用卷积神经网络提取前t-1个时间阶段的文本信息作为信息补充。本方法充分利用了视频数据中的多种模态，补充了容易被忽视的图像细节信息，能够为待测视频生成更加准确的描述。

为实现上述目的，本发明的技术方案为：

一种基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，包括以下步骤：

S1、获取用于训练视频描述生成模型的视频数据集，所述视频数据集包括多个样本视频，并定义算法目标；

S2、对视频数据集中每个样本视频的全局时序特征以及局部语义特征建模，得到样本视频的全局时序特征以及局部语义特征；

S3、通过全局-局部视频特征在循环卷积解码器上建立互补注意力机制，基于样本视频的特征建立描述生成模型；

S4、使用所述描述生成模型生成输入视频的描述。

2、如权利要求1所述的基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，步骤S1中，所述的视频数据集包括样本视频集X_train以及人工标注的视频描述集Y_train；

定义算法目标为：给定样本视频x＝{x₁，x₂，...，x_L}，生成此视频的描述语句y＝{y₁，y₂，...，y_N}；其中，x_i代表第i个视频块，每个视频块包含固定的视频帧数且可以有重叠，L代表总视频块数，y_i代表描述语句的第i个单词，N代表描述语句长度。