[发明专利]利用视觉注意力机制的有监督视频摘要提取方法

说明书

本发明涉及有监督的视频摘要提取技术，为使得摘要的自动生成方式类似于人选取摘要的决策过程，摘要的结果更接近人类的语义理解。本发明采用的技术方案是，利用视觉注意力机制的有监督视频摘要提取方法，步骤如下：1)对原始视频作预处理后，对视频进行镜头检测，分割成若干个视频镜头作为后续摘要提取的候选镜头；2)然后提取每一视频帧的视觉特征作为视频帧序列的特征，编码器和解码器都采用LSTM模型处理视频帧序列，并在解码器部分引入视觉注意力机制，融合历史的解码序列作为当前解码的输入部分；3)利用解码的输出信息，并结合动态规划方法，得到关键镜头和关键帧，生成视频摘要。本发明主要应用于视频摘要场合。

技术领域

本发明涉及有监督的视频摘要提取技术，具体讲,涉及利用视觉注意力机制的有监督视频摘要提取方法。

背景技术

视频摘要是指利用计算机技术分析视频结构、理解视频内容，并从原始的多媒体数据中选取具有代表性的、有意义的部分，将它们以某种方式组合并生成紧凑的、用户可读的原始视频的缩略。依据摘要的最终呈现形式，视频摘要通常分为两种形式：基于关键帧的静态视频摘要和基于关键镜头的动态视频摘要。

一直以来视频摘要提取是基于无监督学习，如图论、曲线分解、聚类等方法。近几年运用有监督的学习方法提取视频摘要已成为一种趋势，它通过主动学习人标注的视频摘要，使训练出的模型尽可能地与人的决策模式保持一致，提取的视频摘要更符合人类语义的理解，这是无监督学习很难达到的。目前有监督的学习方法主要有线性回归模型、二元SVM(支持向量机)分类器、seqDPP(序列行列式点阵列)等。

视频摘要解决的问题是从原始视频帧序列中提取关键帧序列或者关键镜头序列，其本质就是序列到序列(Sequence-to-Sequence,Seq2Seq)的预测问题。研究序列问题已有比较成熟的模型，如循环神经网络(Recurrent Neural Network,RNN)、长短时记忆模型(RNN with Long-short Term Memory,LSTM)。RNN系列模型在处理序列数据上有着极大的优势，能够深层次地挖掘对解决任务有用的序列信息。而基于视觉注意力机制的编-解码(Encoder-Decoder)框架是近年来解决此类任务的经典方案，在图像描述、视频描述、文本摘要、机器翻译等任务中有突出的表现。编码过程将输入序列压缩成固定长度的上下文向量，然后再将其解码成符合任务需求的输出序列。而在解码过程中引入了视觉注意力机制，每一时间节点的解码都受到历史解码序列的影响，并且不同时刻解码的输出向量影响程度不同，即对历史解码序列中每个位置的向量分配不同的注意力，指导网络更加准确地学习序列间的依赖性关系。注意力机制可分为软注意力机制和硬注意力机制，软注意力机制在每个位置都分配注意力权重，只是权重大小不同，可以用反向传播训练；而硬注意力机制在每个位置的注意力具有随机性，可以通过增强学习方法进行训练。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于视觉注意力机制的有监督视频摘要提取方法，使得摘要的自动生成方式类似于人选取摘要的决策过程，摘要的结果更接近人类的语义理解。本发明采用的技术方案是，利用视觉注意力机制的有监督视频摘要提取方法，步骤如下：

1)对原始视频作预处理后，对视频进行镜头检测，分割成若干个视频镜头作为后续摘要提取的候选镜头；

2)然后提取每一视频帧的视觉特征作为视频帧序列的特征，编码器和解码器都采用LSTM模型处理视频帧序列，并在解码器部分引入视觉注意力机制，融合历史的解码序列作为当前解码的输入部分；

3)利用解码的输出信息，并结合动态规划方法，得到关键镜头和关键帧，生成视频摘要。