[发明专利]基于子空间适应性间距的跨模态检索方法及存储介质

说明书

本发明的一种基于子空间适应性间距的跨模态检索方法及存储介质，包括以下步骤，数据预处理，进行训练集测试集数据划分，并提取数据的原始高维特征；输入原始高维特征到网络模型获取图像文本的公共特征和对应的预测标签信息；使用公共特征和标签信息计算每种模态不同类别样本的适应性间距损失，然后结合注意力机制聚焦图片和文本中类别信息用于增强不同类别的判别性，最后计算不同模态之间的不变性损失；再通过反向传播对损失函数进行优化去迭代网络模型至收敛；使用收敛的网络模型计算所有图像文本的公共特征；最后对查询数据特征与公共特征进行相似度计算并排序返回结果。采用本发明进行跨模态检索的精度高于现有方法进行跨模态检索的精度。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及使用有监督子空间适应性间距的跨模态检索方法及存储介质。

背景技术

基于近年来，随着互联网的蓬勃发展、智能设备与社交网络的普及，多媒体数据在互联网上爆炸式地增长。最新数据显示，Youtube每分钟有长达300h的视频上传；Flickr、Snapchat等图片分享网站每天有上亿的图片上传；Facebook、Twitter等社交媒体网站上，用户每天都分享着海量的文本、图片和视频等多媒体数据。这些不同类型的数据通常都是描述同一个物体或同一个事件。如网页通常由文字、图像或视频来共同表达同一个事件或主题。随着互联网上数据规模的不断壮大，数据类型越来越呈现多样化的特点，用户感兴趣的数据模态不再单一，用户的检索需求也越来越呈现出从单一模态到跨模态的发展态势。模态是指数据的表达形式，包括文本、图像、视频和音频等。跨模态检索是至少两种模态的数据之间互相检索，通常是以一种模态作为查询来检索另一种模态的相关数据。通过找出不同模态数据之间的潜在关联，实现相对准确的交叉匹配。

不同模态数据之间的内容相关性度量是跨模态检索任务的核心与挑战。传统的使用三元组损失函数在跨模态检索中都是基于固定间距值，设置一个可调参的间距值超参数α，而在论文《Online low-rank similarity function learning with adaptiverelative margin for cross-modal retrieval》中提到不同类别的样本之间的间距值是不同的，所以设置一个固定间距值是不合理的。所以该论文提出一种适应性间距值。但是在该论文中只考虑单一模态样本对适应性间距的影响，无疑会降低多模态之间的关联性，导致检索精度降低。

发明内容

本发明的目的在于针对上述已有技术的不足，提出基于有监督子空间适应性间距的跨模态检索方法，用于解决现有跨模态哈希检索方法中存在的检索精度低的技术问题。

为实现上述目的，本发明采用了以下技术方案：

一种基于子空间适应性间距的跨模态检索方法，包括以下步骤，

数据预处理，进行训练集测试集数据划分，并提取数据的原始高维特征；

输入原始高维特征进入网络模型获取模型输出的图像和文本的公共特征以及对应的预测标签信息；

使用公共特征和标签信息计算每种模态中不同类别样本的适应性间距损失，结合注意力机制聚焦图片和文本中类别信息用于增强不同类别的判别性，以及计算不同模态样本之间的不变性损失；

再通过反向传播对损失函数进行优化去迭代网络模型直到模型收敛为止；

使用收敛后的网络模型计算所有图像和文本的公共特征；

最后对查询数据特征与公共特征进行相似度计算并排序返回结果。

进一步的，所述数据预处理，进行训练集测试集数据划分，并提取数据的原始高维特征，包括以下步骤，

S1a、收集数据图像、文本数据以及标签信息其中表示第i个图像原始样本，表示第i个文本原始样本，y_i表示第i个样本独热编码，c表示类别数，然后进行训练集、测试集划分；