[发明专利]一种基于模态间关系对齐的跨模态行人检索模型、方法、以及计算机设备在审
| 申请号： | 202210716871.8 | 申请日： | 2022-06-23 |
| 公开（公告）号： | CN115033729A | 公开（公告）日： | 2022-09-09 |
| 发明（设计）人： | 李博;张飞飞;徐常胜 | 申请（专利权）人： | 天津理工大学 |
| 主分类号： | G06F16/583 | 分类号： | G06F16/583;G06F16/33;G06F17/16;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 南京智造力知识产权代理有限公司 32382 | 代理人： | 王军丽 |
| 地址： | 300384 *** | 国省代码： | 天津;12 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于模态间关系对齐的跨模态行人检索模型、方法、以及计算机设备，首先对原始图片和文本进行预处理得到相同维度的特征表示，包括视觉特征和文本特征，然后使用跨模态检索损失约束不同模态间的特征，使模型跨模态语义关系。同时利用自注意力机制构建四个注意力矩阵，其中两个用于表示模态内特征的关系，另两个表示模态间特征的关系。再利用自注意力矩阵构建对应的伪矩阵，通过拉近相对应矩阵间的距离，使模型不同模态间的关系相互促进。融合上述内容，得到跨模态行人检索模型并整体训练。本发明解决了传统跨模态行人检索问题中对模态内部潜在联系的忽视，同时算法具有一定的可解释性，能够有效地提高跨模态行人检索的准确率。 | ||
| 搜索关键词： | 一种 基于 模态间 关系 对齐 跨模态 行人 检索 模型 方法 以及 计算机 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天津理工大学，未经天津理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210716871.8/，转载请声明来源钻瓜专利网。
- 上一篇：过辊装置及模切机
- 下一篇：一种菱圆混合型一维光子晶体纳米梁微腔结构
