[发明专利]一种使用分层时空注意力编解码器网络机制解决视频问答的方法有效
| 申请号： | 201710502909.0 | 申请日： | 2017-06-27 |
| 公开（公告）号： | CN107463609B | 公开（公告）日： | 2020-06-19 |
| 发明（设计）人： | 赵洲;孟令涛;杨启凡;肖俊;吴飞;庄越挺 | 申请（专利权）人： | 浙江大学 |
| 主分类号： | G06F16/783 | 分类号： | G06F16/783;G06F16/9032;G06K9/62 |
| 代理公司： | 杭州求是专利事务所有限公司 33200 | 代理人： | 郑海峰 |
| 地址： | 310058 浙江*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种利用分层时空注意力编解码器网络机制来解决视频问答的方法。主要包括如下步骤：1)针对于一组视频、问题、答案训练集，训练时空注意力编码神经网络，学习出视频和问题的联合表达。2)对于编码完成的得到视频问题联合表达的神经网络的输出，再与相关答案一起训练出解码神经网络，用来针对于视频和问题的联合表达输出对应的自然语言的答案。相比于一般的视频问答解决方案，本发明利用时间注意力机制更好地利用了视频帧之间的序列关系，同时利用空间注意力机制精确了视频帧中的关键位置，则能够更准确地反映视频和问题的特性，并产生更加符合要求的答案。本发明在视频问答问题中所取得的效果相比于传统的方法更好。 | ||
| 搜索关键词： | 一种 使用 分层 时空 注意力 编解码器 网络 机制 解决 视频 问答 方法 | ||
【主权项】：
一种利用分层时空注意力编解码器网络机制来解决视频问答的方法，其特征在于包括如下步骤：1)对于输入的视频及问题，训练出含时空注意力模型的双向GRU编码神经网络来编码视频及问题；2)对于输入的视频及问题，得到编码神经网络的输出；该输出再与相关答案一起训练出解码神经网络；3)对于要预测答案的视频和问题，根据生成的编码神经网络和解码神经网络，得到所预测的答案。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江大学，未经浙江大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710502909.0/，转载请声明来源钻瓜专利网。
