[发明专利]利用多重交互注意力机制解决视频中对象关系问答任务的方法有效
| 申请号： | 201910965556.7 | 申请日： | 2019-10-11 |
| 公开（公告）号： | CN110727824B | 公开（公告）日： | 2022-04-01 |
| 发明（设计）人： | 赵洲;张品涵;金韦克;陈默沙 | 申请（专利权）人： | 浙江大学 |
| 主分类号： | G06F16/735 | 分类号： | G06F16/735;G06N3/04;G06N3/08 |
| 代理公司： | 杭州求是专利事务所有限公司 33200 | 代理人： | 郑海峰 |
| 地址： | 310058 浙江*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种利用多重交互注意力机制解决视频中对象关系问答任务的方法，包括如下步骤：针对于一段视频，获得帧级别视频特征；获得视频中对象的位置特征和外观特征；使用多重交互注意力机制，学习得到输入问题的表达；计算时空关系矩阵；使用多重交互注意力机制，学习得到针对问题的帧级别视频表达；使用多重交互注意力机制，学习得到与问题相关的对象关系表达；在之前得到的帧级别视频表达和对象关系表达基础上，获取问题的答案。相比于一般视频问答解决方案，本发明利用新型注意力机制，能够更准确地反映视频中对象的关系，产生更加贴切的答案。本发明在视频问答中所取得的效果相比于传统方法更好。 | ||
| 搜索关键词： | 利用 多重 交互 注意力 机制 解决 视频 对象 关系 问答 任务 方法 | ||
【主权项】：
1.利用多重交互注意力机制解决视频中对象关系问答任务的方法，其特征在于，包括如下步骤：/nS1：针对一段视频，利用残差神经网络，获得帧级别视频特征；/nS2：利用Mask-RCNN，获得视频中对象的位置特征和外观特征；/nS3：使用多重交互注意力机制，得到输入问题表达；/nS4：根据步骤S2得到的视频中对象的位置特征，计算出视频中对象之间的相对关系向量，得到时空关系权重，进一步构建时空关系矩阵；/nS5：在步骤S1得到的帧级别视频特征和步骤S3得到的输入问题表达的基础上，使用多重交互注意力机制，学习得到针对问题的帧级别视频表达；/nS6：根据步骤S2得到的视频中对象的外观特征、步骤S3得到的输入问题表达和步骤S4得到的时空关系矩阵的基础上，使用多重交互注意力机制，得到与问题相关的对象关系表达；/nS7：根据步骤S5得到的针对问题的帧级别视频表达和步骤S6得到的与问题相关的对象关系表达，获取针对视频所问问题的答案。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江大学，未经浙江大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910965556.7/，转载请声明来源钻瓜专利网。
