[发明专利]一种基于分布一致性的自注意力视频摘要方法有效
| 申请号： | 201910514548.0 | 申请日： | 2019-06-14 |
| 公开（公告）号： | CN110287374B | 公开（公告）日： | 2023-01-03 |
| 发明（设计）人： | 冀中;赵玉晓;李晟嘉;庞彦伟 | 申请（专利权）人： | 天津大学 |
| 主分类号： | G06F16/738 | 分类号： | G06F16/738;G06N3/04;G06N3/08 |
| 代理公司： | 天津市北洋有限责任专利代理事务所 12201 | 代理人： | 杜文茹 |
| 地址： | 300072*** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种基于分布一致性的自注意力视频摘要方法：将视频以帧的形式输入到卷积神经网络中提取视频帧的特征向量；将视频帧的特征向量输入到双向长短期记忆网络中进行编码训练，得到初始的编码特征序列；将初始的编码特征序列中的编码向量输入到自注意力机制中，得到编码特征序列；将编码特征序列中加权后的编码特征向量依次输入到长短期记忆网络中进行训练解码，生成对应的重要性分数向量；将重要性分数向量输入到用于衡量编解码器网络模型的MK损失函数中，在标签向量的约束和监督下，不断地反馈并调整个网络的参数，得到最终的帧级重要性分数，选取相应视频的关键镜头和关键帧集合并输出视频摘要的结果。本发明得到的重要性分数与标签具有分布一致性。 | ||
| 搜索关键词： | 一种 基于 分布 一致性 注意力 视频 摘要 方法 | ||
【主权项】：
1.一种基于分布一致性的自注意力视频摘要方法，其特征在于，包括如下步骤：1)将视频以帧的形式输入到卷积神经网络中提取视频帧的特征向量；2)将提取的视频帧的特征向量以n个为一组，即X＝{x1,x2,x3…xn}，输入到双向长短期记忆网络之中进行编码训练，得到初始的编码特征序列H＝{h1,h2,h3…hn}；3)将初始的编码特征序列H中的n个编码向量h1,h2,h3…hn输入到自注意力机制中，得到由n个加权后的编码特征向量构成的自注意力机制加权后的编码特征序列P：![]()
其中，Softmax(·)为Softmax函数；σ(·)为Sigmoid激活函数；conv(·)为一维卷积函数；![]()
为矩阵元素对应相乘；P为自注意力机制加权后的编码特征序列；4)将自注意力机制加权后的编码特征序列P中n个加权后的编码特征向量依次输入到长短期记忆网络中进行训练解码，其中，每n个加权后的编码特征向量生成一个相对应的重要性分数向量y'；5)将生成的重要性分数向量y'输入到用于衡量编解码器网络模型的MK损失函数中，在标签向量y的约束和监督下，不断地反馈并调整个网络的参数，并得到最终的帧级重要性分数，根据最终的帧级重要性分数，选取相应视频的关键镜头和关键帧集合并输出视频摘要的结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津大学，未经天津大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910514548.0/，转载请声明来源钻瓜专利网。
