[发明专利]基于视觉和语义特征协作与强化学习的视频摘要方法在审
| 申请号： | 202110873724.7 | 申请日： | 2021-07-30 |
| 公开（公告）号： | CN113569767A | 公开（公告）日： | 2021-10-29 |
| 发明（设计）人： | 钟睿;李陈鹏;肖地洋;王蕊;姚文进 | 申请（专利权）人： | 华中师范大学 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/46;G06N3/04;G06N3/08;G06F16/738 |
| 代理公司： | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人： | 严彦 |
| 地址： | 430079 湖*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于视觉和语义特征协作与强化学习的视频摘要方法，包括将视频文件分解成帧序列，按照帧的时间顺序依次使用深度神经网络提取语义特征和视觉显著性特征；经过Bi‑LSTM模型处理预测出各视频帧被选择为关键帧的初始概率；根据视觉显著性特征提取出空间注意力得分，归一化后利用调整因子对Bi‑LSTM模型产生的初始概率进行调制得到调制概率；根据调制概率，确定语义特征与视觉显著性特征均重要的关键帧，实现VSFB模型；将原始视频分为多个独立片段clip，计算选择的关键帧与其他帧之间索引调整的差异性奖励和代表性奖励，依据强化学习奖励机制，动态调整初始概率，加强VSFB模型在视频摘要中的学习，最后得到理想模型，实现从任意待处理视频中的摘要提取。 | ||
| 搜索关键词： | 基于 视觉 语义 特征 协作 强化 学习 视频 摘要 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华中师范大学，未经华中师范大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110873724.7/，转载请声明来源钻瓜专利网。
