[发明专利]基于度量学习的视觉问答方法有效
| 申请号： | 202210839762.5 | 申请日： | 2022-07-18 |
| 公开（公告）号： | CN114913403B | 公开（公告）日： | 2022-09-20 |
| 发明（设计）人： | 舒昕垚;陆振宇 | 申请（专利权）人： | 南京信息工程大学 |
| 主分类号： | G06V10/80 | 分类号： | G06V10/80;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 南京经纬专利商标代理有限公司 32200 | 代理人： | 王慧 |
| 地址： | 210032 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于度量学习的视觉问答方法，采用自注意力编码器和交叉注意力模块对自然语言问题特征与视觉图像特征在高维特征空间中进行对齐与映射；采用自监督的多模态度量学习方法将自然语言问题特征与视觉图像特征进行相似度度量，并将视觉图像特征分为积极视觉特征与消极视觉特征；积极视觉特征与原视觉特征通过与自然语言问题特征融合从而得到正确的答案，消极视觉特征与然语言问题特征融合不能获得正确的答案。本发明实现了在高维特征空间中多模态特征的相似度度量，并采用对比的学习方式对度量出的积极视觉特征与消极视觉特征对抗训练，缓解了视觉问答中语义鸿沟与语义偏差问题，提高了视觉问答模型的性能与鲁棒性。 | ||
| 搜索关键词： | 基于 度量 学习 视觉 问答 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京信息工程大学，未经南京信息工程大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210839762.5/，转载请声明来源钻瓜专利网。
- 上一篇：一种用于废旧塑料回收再造粒的一体化设备
- 下一篇：一种功率因数校正整流器
