[发明专利]一种可交互Transformer的多模态视频密集事件描述算法

摘要

本发明涉及一种可交互Transformer的多模态视频密集事件描述算法，属于视频算法技术领域。该方法包括以下步骤，1、提取视频中的视觉特征、音频特征、语音特征；通过多模态的特征提取，更好地利用视频中的信息；2、通过可交互Transformer内部的可交互注意力模块，将视觉特征分别与音频特征和语音特征融合，进一步编码视频特征。3、模型训练分两阶段完成；首先，基于真实的视频分段训练描述模型，然后冻结训练好的描述模型编码器权重，再训练分段提议模型。本发明充分利用了视频中的特征信息，并对多模态的特征进行了交互融合，展现了良好的密集视频描述效果。