[发明专利]一种基于GCN的深度无监督跨模态检索方法在审
| 申请号： | 202211389979.7 | 申请日： | 2022-11-08 |
| 公开（公告）号： | CN115599942A | 公开（公告）日： | 2023-01-13 |
| 发明（设计）人： | 李明勇;戈明远 | 申请（专利权）人： | 重庆师范大学 |
| 主分类号： | G06F16/583 | 分类号： | G06F16/583;G06F40/30;G06N3/04;G06N3/08;G06V10/74;G06V10/80;G06V10/82 |
| 代理公司： | 合肥数字代码知识产权代理有限公司 34253 | 代理人： | 何雪峰 |
| 地址： | 401331 重*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 gcn 深度 监督 跨模态 检索 方法 | ||
1.一种基于GCN的深度无监督跨模态检索方法，其特征在于，包括以下步骤：
S1：利用GCN搭建文本编码器，将特征相近的文本实例联系起来，丰富文本特征；
S2：使用Hadamard乘积对原始的模内相似度矩阵进行增强后得到统一的相似度矩阵；
S3：采用增强注意力融合机制，对不同模态的语义相似度矩阵进行融合，针对不同的实例的文本和图像相似度有不同注意力，且该机制会随着数据集分布的改变自适应地调整注意力。
2.根据权利要求1所述的一种基于GCN的深度无监督跨模态检索方法，其特征在于，所述S2中使用Hadamard乘积对原始相似度进行了重新加权优化，得到高阶非局部相似度矩阵，再通过加权不同模态的相似度矩阵得到统一的相似度矩阵。
3.根据权利要求1所述的一种基于GCN的深度无监督跨模态检索方法，其特征在于，利用图卷积网络搭建了一个文本编码器提取文本实例的特征，构建文本A与其他文本的语义联系图，采用增强语义相似度矩阵，增强相似度操作。
4.根据权利要求1所述的一种基于GCN的深度无监督跨模态检索方法，其特征在于，所述检索方法主要包含两个编码器：Ex和Ey，分别对图像和文本特征编码，Ex和Ey建立在不同的基础网络框架上。
5.根据权利要求1所述的一种基于GCN的深度无监督跨模态检索方法，其特征在于，所述S2中，通过邻接矩阵来将两个特征相近的文本实例联系起来，通过图卷积层后得到比一般全连接层更加丰富文本特征。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆师范大学，未经重庆师范大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202211389979.7/1.html，转载请声明来源钻瓜专利网。
