[发明专利]一种基于分布一致性的自注意力视频摘要方法

说明书

一种基于分布一致性的自注意力视频摘要方法：将视频以帧的形式输入到卷积神经网络中提取视频帧的特征向量；将视频帧的特征向量输入到双向长短期记忆网络中进行编码训练，得到初始的编码特征序列；将初始的编码特征序列中的编码向量输入到自注意力机制中，得到编码特征序列；将编码特征序列中加权后的编码特征向量依次输入到长短期记忆网络中进行训练解码，生成对应的重要性分数向量；将重要性分数向量输入到用于衡量编解码器网络模型的MK损失函数中，在标签向量的约束和监督下，不断地反馈并调整个网络的参数，得到最终的帧级重要性分数，选取相应视频的关键镜头和关键帧集合并输出视频摘要的结果。本发明得到的重要性分数与标签具有分布一致性。

技术领域

本发明涉及一种自注意力视频摘要方法。特别是涉及一种基于分布一致性的自注意力视频摘要方法。

背景技术

随着深度学习和硬件设备的不断发展，人工智能技术的应用在越来越多的领域取得了很好的结果，例如计算机视觉。特别的，深度学习在视频摘要的领域中运用的越来越广泛。在基于深度学习的视频摘要领域中，将该任务看作是处理序列对序列的问题。而在深度学习的模型中，卷积神经网络常用于视频帧特征的提取，以及循环神经网络可以有效的处理关于序列的问题，并解决相关任务中存在的问题。而在卷积神经网络中，GoogLeNet，Vgg-16和ResNet-50等较为常用。而在循环神经网络中，长短时记忆网络(LSTM)和双向长短时记忆网络(Bi-LSTM)等相关变体最为主流。

发明内容

本发明所要解决的技术问题是，提供一种能够实现生成的重要性分数向量与标签向量的分布一致的基于分布一致性的自注意力视频摘要方法。

本发明所采用的技术方案是：一种基于分布一致性的自注意力视频摘要方法，包括如下步骤：

1)将视频以帧的形式输入到卷积神经网络中提取视频帧的特征向量；

2)将提取的视频帧的特征向量以n个为一组，即X＝{x₁,x₂,x₃…x_n}，输入到双向长短期记忆网络之中进行编码训练，得到初始的编码特征序列H＝{h₁,h₂,h₃…h_n}；

3)将初始的编码特征序列H中的n个编码向量h₁,h₂,h₃…h_n输入到自注意力机制中，得到由n个加权后的编码特征向量构成的自注意力机制加权后的编码特征序列P：

其中，Softmax(·)为Softmax函数；σ(·)为Sigmoid激活函数；conv(·)为一维卷积函数；为矩阵元素对应相乘；P为自注意力机制加权后的编码特征序列。

4)将自注意力机制加权后的编码特征序列P中n个加权后的编码特征向量依次输入到长短期记忆网络中进行训练解码，其中，每n个加权后的编码特征向量生成一个相对应的重要性分数向量y'；

5)将生成的重要性分数向量y'输入到用于衡量编解码器网络模型的MK损失函数中，在标签向量y的约束和监督下，不断地反馈并调整个网络的参数，并得到最终的帧级重要性分数，根据最终的帧级重要性分数，选取相应视频的关键镜头和关键帧集合并输出视频摘要的结果。

步骤1)是将输入的视频每15帧进行初步的采样，再将采样的视频帧输入到卷积神经网络中得到视频帧的特征向量。

步骤3)所述的自注意力机制，是将n个编码向量h₁,h₂,h₃…h_n依次经过一维卷积计算、Sigmoid激活函数计算和Softmax函数计算分别获取权重，并先后通过元素对应相乘和相加的计算过程进行权重的分配，从而得到n个加权后的编码特征向量，构成自注意力机制加权后的编码特征序列P。