[发明专利]一种基于互补注意力机制循环卷积解码的视频描述方法

权利要求书

1.一种基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，包括以下步骤：

S1、获取用于训练视频描述生成模型的视频数据集，所述视频数据集包括多个样本视频，并定义算法目标；

S2、对视频数据集中每个样本视频的全局时序特征以及局部语义特征建模，得到样本视频的全局时序特征以及局部语义特征；

S3、通过全局-局部视频特征在循环卷积解码器上建立互补注意力机制，基于样本视频的特征建立描述生成模型；

S4、使用所述描述生成模型生成输入视频的描述。

2.如权利要求1所述的基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，步骤S1中，所述的视频数据集包括样本视频集X_train以及人工标注的视频描述集Y_train；

定义算法目标为：给定样本视频x＝{x₁，x₂，...，x_L}，生成此视频的描述语句y＝{y₁，y₂，...，y_N}；其中，x_i代表第i个视频块，每个视频块包含固定的视频帧数且可以有重叠，L代表总视频块数，y_i代表描述语句的第i个单词，N代表描述语句长度。

3.如权利要求2所述的基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，步骤S2具体包括：

S21、将样本视频x＝{x₁，x₂，...，x_L}每一个视频块x_i中的中心图像输入二维卷积神经网络,提取该视频块的图像特征；将每一个视频块x_i输入三维深度卷积神经网络，得到该视频块的运动特征；提取每个视频块传统的MFCC音频特征；将每个视频块得到的三种特征拼接起来，作为该样本视频的全局时序特征G＝{g₁，g₂，...，g_L}；

S22、将样本视频x＝{x₁，x₂，...，x_L}每一个视频块x_i中的中心图像输入到预训练好的目标检测器中，每个样本视频配置固定数量的检测框，且所有的目标类别只选择概率最大的一个检测框；在所有的目标类别中，选择概率最高的k个类别所对应的检测框作为所述样本视频的局部语义特征O＝{o₁，o₂，...，o_k}。

4.如权利要求3所述的基于互补注意力机制循环卷积解码的视频描述方法，其特征在于，步骤S3中，所述描述生成模型的解码器由循环神经网络和卷积神经网络构成，循环神经网络的每个时间阶段的输入是前一个阶段的输出单词；S3具体包括：

S31、根据循环神经网络的输出h_t，对步骤S21、S22中得到的全局与局部特征(G，O)建立互补注意力机制，首先计算全局特征对应的注意力权重系数，步骤如下：

其中w_g，W_g1，U_g，b_g1，W_g2，b_g2都是训练参数，得到t时刻的权重系数之后，计算全局注意力向量

再计算局部特征对应的注意力权重系数：

其中w_o，U_o，都是训练参数，之后计算局部注意力向量

S32、在解码器的t时刻，使用卷积神经网络提取的前t-1个时刻的文本信息作为一种补充信息；在过程中，把t-1个单词映射成词向量，使用一维卷积神经网络进行多轮卷积运算得到浓缩特征f_1D(V_＜t)；

S33、使用步骤S31，S32得到的所有信息预测每个时刻的单词概率分布p_t，其中W_p，b_p是训练参数，

S34、描述生成模型的训练使用N个时刻积累的交叉熵损失函数，

其中代表t时刻正确单词的概率，使用Adam优化算法和反向传播算法在损失函数L下训练整个描述生成模型。