[发明专利]一种基于一致性修正和挖掘的鲁棒跨模态检索方法

权利要求书

1.一种基于一致性修正和挖掘的鲁棒跨模态检索方法，其特征在于，包括以下步骤：

S1、获取待检索的数据集，并对其进行数据预处理；

S2、使用跨模态信息噪声对比估计损失函数训练得到两个单独的神经网络模型A和B；

S3、将预处理后的数据集分别送入模型A和模型B以协同划分；

S4、对划分好的数据集进行一致性修正和一致性挖掘；

S5、重复步骤S3～S4进行鲁棒的跨模态检索训练，直至网络A和网络B收敛以得到训练完成的网络A和网络B；

S6、利用训练完成的网络A和网络B进行跨模态检索以得到检索结果。

2.如权利要求1所述的一种基于一致性修正和挖掘的鲁棒跨模态检索方法，其特征在于，步骤S2中，使用跨模态信息噪声对比估计损失函数训练两个单独的神经网络模型A和B的过程中所采用的计算公式包括：

其中，l_i表示第i对数据对网络形成的损失，exp(·)表示以自然常数e为底数的指数函数，τ表示温度系数，s_i,i、s_i,和s_j,i均为数据点的特征向量的内积，N表示一个批次的数据对数。

3.如权利要求1所述的一种基于一致性修正和挖掘的鲁棒跨模态检索方法，其特征在于，步骤S3具体包括：

将预处理后的数据集分别送入模型A和模型B，通过由两个高斯分布混合而成的高斯混合模型分别对模型A和模型B计算得到的损失函数值进行建模以得到高斯分布分量；

从数据集中选取样本，按照每个样本中均值较小的高斯分布分量的后验概率将数据集划分为干净子集、模糊子集和噪声子集。

4.如权利要求3所述的一种基于一致性修正和挖掘的鲁棒跨模态检索方法，其特征在于，所述一致性修正的内容包括：

根据模型A与模型B对数据集中数据的对应关系的预测和后验概率共同修正划分的数据集中数据的对应关系，具体包括：

对于干净子集中的数据对，用于训练网络A的第i对数据样本的对应关系修正为用于训练网络B的第i对数据样本的对应关系修正为具体计算方式如下：

其中，表示干净子集中修正后的用于训练网络A的第i对数据样本的对应关系，表示干净子集中修正后的用于训练网络B的第i对数据样本的对应关系，y_i表示数据集中用于训练网络A和网络B的第i对数据样本的对应关系，均为中间参数，表示模型A对第i对样本得出的后验概率，表示模型B对第i对样本得出的后验概率；

对于模糊子集中的数据对，用于训练网络A的第i对数据样本的对应关系修正为用于训练网络B的第i对数据样本的对应关系修正为具体计算方式如下：

其中，表示模糊子集中修正后的用于训练网络A的第i对数据样本的对应关系，表示模糊子集中修正后的用于训练网络B的第i对数据样本的对应关系；

对于噪声子集中的数据对，用于训练网络A的第i对数据样本的对应关系修正为用于训练网络B的第i对数据样本的对应关系修正为具体计算方式如下：

其中，表示噪声子集中修正后的用于训练网络A的第i对数据样本的对应关系，表示噪声子集中修正后的用于训练网络B的第i对数据样本的对应关系，l_i表示第i对数据对网络形成的损失，exp(·)表示以自然常数e为底数的指数函数，τ表示温度系数，s^A_i,i、s^A_i,、s^A_j,、s^B_i,、s^B_i,和s^B_j,均为数据点的特征向量之间的内积，N表示一个批次的数据对数。