[发明专利]基于多特征融合和时空注意力机制相结合的视频描述方法有效
| 申请号： | 201810110287.1 | 申请日： | 2018-02-05 |
| 公开（公告）号： | CN108388900B | 公开（公告）日： | 2021-06-08 |
| 发明（设计）人： | 李楚怡;余卫宇 | 申请（专利权）人： | 华南理工大学 |
| 主分类号： | G06K9/46 | 分类号： | G06K9/46;G06N3/04;G06N3/08 |
| 代理公司： | 广州市华学知识产权代理有限公司 44245 | 代理人： | 李斌 |
| 地址： | 510640 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多特征融合和时空注意力机制相结合的视频描述方法，首先对待描述视频提取多种基于卷积神经网络的特征，包括物体、场景、行为动作以及光流等特征，并将这些特征融合拼接成一个特征向量，然后基于时空注意力机制的双向长短时记忆网络确定视频的语义编码表达，最后输入到单向长短时记忆网络模型进行特征解码，从而获得与所述视频对应的自然语言描述句子。本发明对待描述视频分别提取了物体、场景以及运动特征，表征了视频的对象信息与对象之间的关系以及运动信息，同时考虑到视频在空间维度和时间维度上的变化，利用3D卷积特征进一步捕捉到视频流的运动信息。 | ||
| 搜索关键词： | 基于 特征 融合 时空 注意力 机制 相结合 视频 描述 方法 | ||
【主权项】：
1.基于多特征融合和时空注意力机制相结合的视频描述方法，其特征在于，包括如下步骤：S1、对待描述视频提取多种基于卷积神经网络的特征，包括物体、场景、行为动作、光流以及3D卷积特征；S2、将上一步获得的多种特征融合拼接成一个特征向量；S3、利用基于时空注意力机制的双向长短时记忆网络确定视频的语义编码表达；S4、将上一步获得的语义编码输入到基于单向的长短时记忆网络模型进行特征解码，从而获得与所述视频对应的自然语言描述句子。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南理工大学，未经华南理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810110287.1/，转载请声明来源钻瓜专利网。
