[发明专利]一种基于多模态动态交互机制的图文解析方法有效
| 申请号： | 202110288644.5 | 申请日： | 2021-03-17 |
| 公开（公告）号： | CN113065012B | 公开（公告）日： | 2022-04-22 |
| 发明（设计）人： | 曲磊钢;刘萌;胡宇鹏;高赞;聂礼强 | 申请（专利权）人： | 山东省人工智能研究院;山东大学 |
| 主分类号： | G06F16/53 | 分类号： | G06F16/53;G06F16/33;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 济南泉城专利商标事务所 37218 | 代理人： | 支文彬 |
| 地址： | 250013 山*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种基于多模态动态交互机制的图文解析方法，提出了一个动态模态交互建模框架用于解决图文检索问题，该框架不仅能够涵盖现有方法的交互模式，还能够自动学习其他未被探索到的模式。为了赋予模型充分的模态交互能力，从不同角度、不同粒度设计了四种基础的交互模块，其有效解决了模态内推理和模态间对齐两大图文检索中的核心挑战。为了动态地学习模态交互模式，在每个交互模块中整合了一个动态路由器。通过提出的语义一致性正则化技术对路径决策过程进行了合理的、强有力的约束，确保了模型路径学习的高效性。在进行图像和文本之间的相互检索时准确度大幅度提高。 | ||
| 搜索关键词： | 一种 基于 多模态 动态 交互 机制 图文 解析 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东省人工智能研究院;山东大学，未经山东省人工智能研究院;山东大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110288644.5/，转载请声明来源钻瓜专利网。
- 上一篇：一种钢结构铆接安装装置
- 下一篇：一种石材数字化加工方法
