[发明专利]一种可交互Transformer的多模态视频密集事件描述算法

说明书

本发明涉及一种可交互Transformer的多模态视频密集事件描述算法，属于视频算法技术领域。该方法包括以下步骤，1、提取视频中的视觉特征、音频特征、语音特征；通过多模态的特征提取，更好地利用视频中的信息；2、通过可交互Transformer内部的可交互注意力模块，将视觉特征分别与音频特征和语音特征融合，进一步编码视频特征。3、模型训练分两阶段完成；首先，基于真实的视频分段训练描述模型，然后冻结训练好的描述模型编码器权重，再训练分段提议模型。本发明充分利用了视频中的特征信息，并对多模态的特征进行了交互融合，展现了良好的密集视频描述效果。

技术领域

本发明涉及一种可交互Transformer的多模态视频密集事件描述算法，属于视频算法技术领域。

背景技术

现有关于密集视频描述的算法只提取了视频中的视觉信息，但视频中不仅包含视觉信息还包含音频信息甚至是语音信息，所以只是单模态的提取视频中的视觉信息并没有充分利用视频信息。

关于密集视频描述大多基于RNN、LSTM及其变体的编码器-解码器架构，其固有的顺序属性阻碍了训练样本间的并行化。对于长序列，机器内存容量限制阻碍了训练样本的批量处理，耗费时间；使用可交互Transformer架构解决了上述问题，并且更好地融合了多模态的特征，获得了良好的视频分段及视频语义描述效果。

发明内容

本发明的目的是提供一种可交互Transformer的多模态视频密集事件描述算法。

为了实现上述目的，本发明采用的技术方案是：

一种可交互Transformer的多模态视频密集事件描述算法，该方法基于ActivityNet Captions数据集完成视频密集事件描述任务；包括以下步骤

（1）、通过I3D模型、VGGish模型、ASR系统分别提取视频中的视觉特征、音频特征、语音特征；

（2）、将提取到的多模态特征通过可交互Transformer的可交互注意力，使视觉特征分别与音频特征和语音特征融合，进一步编码视频特征；

（3）、将编码后的特征作用于分段提议模型，生成视频分段；

（4）、将编码后的特征在可交互Transformer解码器内通过可交互注意力与生成的词序列特征融合，作用于描述模型，生成视频语义描述；

（5）、模型的训练分两步完成：首先，基于真实的分段提议训练描述模型，冻结训练好的描述模型编码器权重，再训练分段提议模型。

本发明技术方案的进一步改进为：步骤（5）中训练模型过程如下，

训练描述模块过程如下，在编码阶段，提取视觉、音频以及语音特征分别加位置编码后送入可交互Transformer中；在解码阶段，将经过词嵌入的描述序列输入解码器，使用带有Mask掩码自注意力机制提取词序列特征，词序列特征与编码器输出特征通过可交互注意力模块融合；在描述生成模块中，应用全连接层、Softmax等获得概率最大的单词，循环生成视频描述；

训练分段提议模型过程如下，利用上述训练的描述模型中编码器权重，将视觉、音频、语音信息输入到可交互Transformer模型的编码器，完成与描述模块编码器相同的计算；然后，将编码器的输出送入到分段提议生成器中，通过提议生成头获得预测提议分段的开始与结束时间及其置信度分数，最后在公共池中根据置信度分数选择出最合适的视频分段。

由于采用了上述技术方案，本发明取得的技术效果有：

本发明中的算法提取了视频中的多模态信息特征，并引入了可交互注意力模块，将视频中多模态的信息特征更好地融合，充分利用了视频信息，获得了良好的视频语义描述效果。

本发明在模型训练阶段分两个步骤完成；首先，基于真实的分段提议训练描述模型，冻结训练好的描述模块编码器的权重，再训练分段提议模型。这样可以使分段提议模型从描述模型中受益，获得更好的视频分段效果。