[发明专利]利用视觉注意力机制的有监督视频摘要提取方法

权利要求书

1.一种利用视觉注意力机制的有监督视频摘要提取方法，其特征是，步骤如下：

1)对原始视频作预处理后，对视频进行镜头检测，分割成若干个视频镜头作为后续摘要提取的候选镜头；

2)然后提取每一视频帧的视觉特征作为视频帧序列的特征，编码器和解码器都采用LSTM模型处理视频帧序列，并在解码器部分引入视觉注意力机制，融合历史的解码序列作为当前解码的输入部分；

3)利用解码的输出信息，并结合动态规划方法，得到关键镜头和关键帧，生成视频摘要。

2.如权利要求1所述的利用视觉注意力机制的有监督视频摘要提取方法，其特征是，编码器由一层LSTM网络构成，输入序列是视频特征序列x＝(x1,x2,…,xT)，输出编码表征序列h＝(h1,h2,…,hT)，将其作为解码器的输入，序列中每个向量为编码器在每个时间节点的隐藏状态，其计算公式如下：

ht＝f(ht-1,xt), (1)

其中ht,ht-1,xt分别为LSTM网络t时刻的隐藏状态、t-1时刻的隐藏层态、t时刻输入的特征向量的特征向量。

3.如权利要求1所述的利用视觉注意力机制的有监督视频摘要提取方法，其特征是，解码器也由一层LSTM网络构成，定义其输出的条件概率：

p(yi|{y1,...,yi-1},x)＝g(ci,si,hi), (2)

si,hi,yi分别为解码器i时刻的隐藏状态、解码器的输入、解码器的输出，其中，hi对应编码器的ht，即i＝t，i,t取值范围一致，都为1到T，si是LSTM网络在i时刻的隐藏状态，其公式如下：

si＝f(ci,si-1,hi) (3)

其中ci是由解码器的1,2,...,i-1时刻输出序列加权融合而成的上下文向量，即由{y1,...,yi-1}加权和得到，ci包含了之前全部时刻的历史输出信息，但是对之前每一时刻输出的关注程度不同，视觉注意力机制指导网络去学习不同时刻的注意力权值，上下文向量ci计算公式如下：

c i = Σ j = 1 j - 1 α i j y j , - - - ( 4 ) ]]>

其中yj为解码器在j时刻的输出，j∈{1,2,...,i-1}，αij为对应i时刻yj的注意力权值，它由下式计算：

α i j = exp ( e i j ) Σ j = 1 i - 1 exp ( e i j ) , ]]>

eij＝a(si-1,yj), (5)

生成eij的函数是一个多层感知器，该网络的输入由解码器i-1时刻的隐藏状态si-1、j时刻输出yj构成，eij代表j时刻解码器的输出对i时刻解码的影响程度。