[发明专利]一种基于一致性修正和挖掘的鲁棒跨模态检索方法

说明书

本发明提出了一种基于一致性修正和挖掘的鲁棒跨模态检索方法，涉及跨模态检索技术领域，包括：S1、获取待检索的数据集，并对其进行数据预处理；S2、使用跨模态信息噪声对比估计损失函数训练得到两个单独的神经网络模型A和B；S3、将预处理后的数据集分别送入模型A和模型B以协同划分；S4、对划分好的数据集进行一致性修正和一致性挖掘；S5、重复步骤S3～S4进行鲁棒的跨模态检索训练，直至网络A和网络B收敛以得到训练完成的网络A和网络B；S6、利用训练完成的网络A和网络B进行跨模态检索以得到检索结果；本发明通过一致性修正和挖掘实现了鲁棒的跨模态检索，可以为本应丢弃的数据对寻找配对数据，提高了跨模态检索的性能。

技术领域

本发明涉及跨模态检索技术领域，具体而言，涉及一种基于一致性修正和挖掘的鲁棒跨模态检索方法。

背景技术

跨模态检索旨在从不同模态中搜索语义相关的样本，其中的关键是减小同语义的不同模态特征之间的差距，增大同语义的不同模态特征之间的相似性。为此，现有的跨模态检索方法主要集中在深入研究隐藏在成对数据(正样本对数据)中的跨模态一致性，从而使同语义的不同的模态的特征在特征空间中互相靠近。

现有的跨模态检索工作可以大致分为以下两类：1)粗粒度跨模态检索方法。该类方法通常采用不同的神经网络来识别特定模态的特征，例如，通过卷积神经网络获取图像模态的特征，同时利用门控递归单元来获取文本模态的特征，而后拉近成对模态的特征之间的距离，推远不配对的模态(负样本对数据)的特征；2)细粒度跨模态检索方法。该类方法根据不同模态的特点，设计不同的细粒度方法来关注不同模态的细节，并从全局角度对齐这些特征。该类方法会设计不同的细粒度的一致性度量方式，如多层次的注意力机制和相似性图机制。

尽管上述两类方法已经取得了很好的性能，但大多数现有的方法在遇到错误关联的数据对时，都会出现性能下降的问题。比如，文本描述与图像内容不配对，或者音频与画面不匹配等等。

基于此，本申请提出一种基于一致性修正和挖掘的鲁棒跨模态检索方法来解决上述问题。

发明内容

本发明的目的在于提供一种基于一致性修正和挖掘的鲁棒跨模态检索方法，其能够实现对噪声关联的鲁棒的跨模态检索。

本发明的技术方案为：

第一方面，本申请提供一种基于一致性修正和挖掘的鲁棒跨模态检索方法，其包括以下步骤：

S1、获取待检索的数据集，并对其进行数据预处理；

S2、使用跨模态信息噪声对比估计损失函数训练得到两个单独的神经网络模型A和B；

S3、将预处理后的数据集分别送入模型A和模型B以协同划分；

S4、对划分好的数据集进行一致性修正和一致性挖掘；

S5、重复步骤S3～S4进行鲁棒的跨模态检索训练，直至网络A和网络B收敛以得到训练完成的网络A和网络B；

S6、利用训练完成的网络A和网络B进行跨模态检索以得到检索结果。

进一步地，步骤S2中，使用跨模态信息噪声对比估计损失函数训练两个单独的神经网络模型A和B的过程中所采用的计算公式包括：

其中，l_i表示第i对数据对网络形成的损失，exp(·)表示以自然常数e为底数的指数函数，τ表示温度系数，s_i，i、s_i，j和s_j，i均为数据点的特征向量的内积，N表示一个批次的数据对数。

进一步地，步骤S3具体包括：