[发明专利]一种基于鲁棒相似保持的跨模态检索方法及系统

说明书

本发明提供一种基于鲁棒相似保持的跨模态检索方法及系统，涉及跨模态检索技术领域，用于解决现有的在线跨模态监督哈希方法的容错率差、不同类样本排序关系模糊，阻碍原始样本空间相似关系的准确还原的问题。该方法通过引入哈达玛矩阵来构鲁棒新标签，并采用该标签来指导哈希码的学习，扩大了海明空间中类间距，提高了哈希学习的容错率和鲁棒性；并且为学习类间的亲疏关系，提出了为哈希码学习对应的哈希比特权重，将哈希码与哈希比特权重相结合，增强哈希空间的表征能力，从而更加准确地还原原始空间的相似关系，提高跨模态检索的准确性。

技术领域

本发明属于跨模态检索技术领域，尤其涉及一种基于鲁棒相似保持的跨模态检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成已经成为本领域一般技术人员所公知的现有技术。

随着互联网技术的突飞猛进，大量的多媒体数据呈现井喷式的增长，例如，购物网站上每天都会出现许多新增的购物记录，社交网站上每天都会有许多新增的聊天信息。在现实场景中，多媒体信息往往是以流数据的形式不断累积出现，并且，随着时间的推移，流数据在不同批次之间可能发生样本分布变化，概念漂移，类别增长等形式的变化。该场景在日常的检索应用中十分常见，例如，百科网站每天都会有数以千万计的用户上传图像、视频、文本等信息进入互联网的检索库，这些信息的表现形式的是多种多样的，每日上传的信息分布也会受到当日热点等因素的影响。

近年来，以哈希为代表的近似邻检索技术得到了深入的研究和飞速的进步，成为解决大规模跨模态检索的一种可行方案。哈希学习致力于习得某种映射关系将高维样本特征转化为紧凑的二值码，同时保证生成的二值码可以保持原始样本空间的相似关系。已有的哈希学习方法可以粗略划分为监督哈希和无监督哈希，无监督模型的训练依赖于样本的特征分布，当流数据不同数据块之间的分布发生变化时，模型也会随之变化，从而造成模型不稳定难以收敛等问题。与无监督哈希相比，监督哈希方法加入了标签信息（或成对相似矩阵）作为指导，通常可以获得更优的检索性能。从空间变换的角度来看，哈希学习的目的是学习一个低维的二值空间使样本在新空间中仍能保持原始空间的相似关系，从而保证检索的高效，准确进行。而监督方法中的标签信息则为哈希码的生成提供了一个可靠的锚点，即使分布信息在不同数据块之间发生了轻微的变化，在一致性标签指导下生成的哈希码也不会产生重大偏移。

然而现有的在线跨模态监督哈希方法通常存在以下问题：1）独热码标签的类间距离小，导致哈希码的类间距小，区分能力和容错率较差，当数据流特征发生轻微变化时，近邻检索过程中容易返回其他类样本数据；2）独热码标签无法表征类间亲疏关系，不同类样本排序关系模糊，阻碍了原始样本空间相似关系的准确还原。

发明内容

为了解决上述问题，本发明提供一种基于鲁棒相似保持的跨模态检索方法及系统，用于提高哈希学习的容错率和鲁棒性，并准确地还原原始空间的相似关系，提高跨模态检索的准确性。

为了实现上述目的，本发明主要包括以下几个方面：

第一方面，本发明实施例提供一种基于鲁棒相似保持的跨模态检索方法，包括：

将获取的训练集进行均等分组，生成多模态流数据，每组多模态流数据包括至少两种不同模态的样本特征及其对应的独热码标签；

构造哈达玛矩阵，将多模态流数据中相同类别的独热码标签替换为所述哈达玛矩阵中的相同行，得到各样本特征对应的鲁棒新标签；

使用所述鲁棒新标签指导哈希码的生成，并在哈希码学习过程中，为生成的哈希码学习对应的哈希比特权重，以及不同模态对应的哈希映射；所述哈希比特权重用于表征该哈希码的各比特位在样本特征表示中的重要程度；

接收查询样本，利用学习到的哈希映射得到对应的哈希码，将所述查询样本的哈希码与检索库中的哈希码进行异或运算，得到对应的二值标识，将所述二值标识与所述哈希比特权重相结合，计算加权海明距离，并根据加权海明距离返回检索结果。