[发明专利]基于子空间适应性间距的跨模态检索方法及存储介质

权利要求书

1.一种基于子空间适应性间距的跨模态检索方法，其特征在于，包括以下步骤，

数据预处理，进行训练集测试集数据划分，并提取数据的原始高维特征；

输入原始高维特征进入网络模型获取模型输出的图像和文本的公共特征以及对应的预测标签信息；

使用公共特征和标签信息计算每种模态中不同类别样本的适应性间距损失，结合注意力机制聚焦图片和文本中类别信息用于增强不同类别的判别性，以及计算不同模态样本之间的不变性损失；

再通过反向传播对损失函数进行优化去迭代网络模型直到模型收敛为止；

使用收敛后的网络模型计算所有图像和文本的公共特征；

最后对查询数据特征与公共特征进行相似度计算并排序返回结果。

2.根据权利要求1所述的基于子空间适应性间距的跨模态检索方法，其特征在于：所述数据预处理，进行训练集测试集数据划分，并提取数据的原始高维特征，包括以下步骤，

S1a、收集数据图像、文本数据以及标签信息其中表示第i个图像原始样本，表示第i个文本原始样本，y_i表示第i个样本独热编码，c表示类别数，然后进行训练集、测试集划分；

S1b、对于图像训练集数据，使用VGG19在image-net上预训练的模型进行微调，然后使用微调后的模型提取所有图像原始特征；

S1c、对于文本训练集数据，使用Word2Vec模型作为通用字典，用于为每个文本构建文本矩阵，然后输入到the sentence CNN网络进行预训练，然后使用预训练后的模型提取所有文本原始特征。

3.根据权利要求2所述的基于子空间适应性间距的跨模态检索方法，其特征在于：所述输入原始高维特征进入网络模型获取模型输出的图像和文本的公共特征以及对应的预测标签信息，包括以下步骤，

S2、对步骤S1中图像原始特征和文本原始特征经过子空间网络学习得到相同维度的特征Q＝(q₁,q₂,…q_n)，其中q_i代表每个子空间图像特征，S＝(s₁,s₂,…s_n)其中s_i代表每个子空间文本特征；

S3、对于步骤S2中子空间特征，使用线性分类器去预测图像与文本所属类别其中表示图像预测标签独热编码，其中表示文本预测标签独热编码。