[发明专利]基于多交互注意力的端到端多模态问答方法及系统有效
| 申请号： | 202110848497.2 | 申请日： | 2021-07-27 |
| 公开（公告）号： | CN113297370B | 公开（公告）日： | 2021-11-16 |
| 发明（设计）人： | 张宾;孙喜民;高亚斌;贾江凯;郑斌;王帅;李慧超;孙博 | 申请（专利权）人： | 国网电子商务有限公司;国网电商科技有限公司 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06F40/30;G06T11/60;G06N3/04 |
| 代理公司： | 成都华复知识产权代理有限公司 51298 | 代理人： | 庞启成 |
| 地址： | 100053 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了基于多交互注意力的端到端多模态问答方法及系统，包括：（1）接收问题和背景知识；（2）从接收的背景知识中筛选出与问题相关的文本背景知识和图像背景知识；（3）对筛选出的文本背景知识进行编码，获得文本背景知识中各段落的特征表示；（4）将筛选出的图像背景知识解析为图像特征表示，并构建可微场景图；（5）融合特征表示和可微场景图，获得背景知识的融合特征表示；（6）将融合特征表示、问题的特征表示、候选答案的特征表示输入非线性层，计算各候选答案的预测概率，输出预测概率最高的候选答案。本发明可有效利用多模态信息，提升多模态语义理解的准确度和全面性，从而提升多模态问答系统的准确率。 | ||
| 搜索关键词： | 基于 交互 注意力 端到端多模态 问答 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国网电子商务有限公司;国网电商科技有限公司，未经国网电子商务有限公司;国网电商科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110848497.2/，转载请声明来源钻瓜专利网。
- 上一篇：一种财险、农险移动作业平台系统
- 下一篇：一种电缆托架
