[发明专利]一种基于模态推理图神经网络的场景文本视觉问答方法在审
| 申请号： | 202110691232.6 | 申请日： | 2021-06-22 |
| 公开（公告）号： | CN113360621A | 公开（公告）日： | 2021-09-07 |
| 发明（设计）人： | 郭欣雨 | 申请（专利权）人： | 辽宁工程技术大学 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06K9/62;G06F40/35;G06N3/04 |
| 代理公司： | 北京华夏正合知识产权代理事务所(普通合伙) 11017 | 代理人： | 韩登营 |
| 地址： | 123000 辽*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于模态推理图神经网络的场景文本视觉问答方法，包括：构建多模态图；将经过预处理的问题词嵌入与两个独立的权重相乘分别得到视觉问题特征和文本问题特征；将权重与特征节点对应相乘即得到过滤后的向量；更准确地回答关于场景图像中文本的问题；更新之后的节点与对应问题特征相乘后连接输出预测答案。本发明利用图像中多种形式的信息帮助理解场景文本内容，将场景文本图片分别预处理成视觉对象图和文本图的形式，并且在问题自注意力模块下过滤多余的信息；使用加入注意力的聚合器完善子图之间相互的节点特征从而融合不同模态之间的信息，更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。 | ||
| 搜索关键词： | 一种 基于 推理 神经网络 场景 文本 视觉 问答 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于辽宁工程技术大学，未经辽宁工程技术大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110691232.6/，转载请声明来源钻瓜专利网。
