[发明专利]一种可交互Transformer的多模态视频密集事件描述算法

权利要求书

1.一种可交互Transformer的多模态视频密集事件描述算法。该算法基于ActivityNetCaptions数据集完成密集视频描述任务，包括以下步骤：

（1）、通过I3D模型、VGGish模型、ASR系统分别提取视频中的视觉特征、音频特征、语音特征；

（2）、将提取到的多模态特征通过可交互Transformer的可交互注意力，使视觉特征分别与音频特征和语音特征融合，进一步编码视频特征；

（3）、将编码后的特征作用于分段提议模型，生成视频分段；

（4）、将编码后的特征在可交互Transformer解码器内通过可交互注意力与生成的词序列特征融合，作用于描述模型，生成视频语义描述；

（5）、模型的训练分两步完成：首先，基于真实的分段提议训练描述模型，冻结训练好的描述模型编码器权重，再训练分段提议模型。

2.根据权利要求1所述的一种可交互Transformer的多模态视频密集事件描述算法，其特征在于：步骤（5）中模型训练过程如下，

训练描述模块过程如下，在编码阶段，提取视觉、音频以及语音特征分别加位置编码后送入可交互Transformer中；在解码阶段，将经过词嵌入的描述序列输入解码器，使用带有Mask掩码自注意力机制提取词序列特征，词序列特征与编码器输出特征通过可交互注意力模块融合；在描述生成模块中，应用全连接层、Softmax等获得概率最大的单词，循环生成视频描述；

训练分段提议模型过程如下，利用上述训练的描述模型中编码器权重，将视觉、音频、语音信息输入到可交互Transformer模型的编码器，完成与描述模块编码器相同的计算；然后，将编码器的输出送入到分段提议生成器中，通过提议生成头获得预测提议分段的开始与结束时间及其置信度分数，最后在公共池中根据置信度分数选择出最合适的视频分段。