[发明专利]一种基于编码可导航伸展图的近邻文档搜索方法

说明书

本发明公开了一种基于编码可导航伸展图的近邻文档搜索方法。该方法首先对海量文档语义向量化得到海量文档向量；然后计算所有文档向量每一维的大小范围得到区间范围向量并归一化编码后进行压缩存储；接着基于压缩存储的海量文档向量建立编码可导航伸展图；最后对查询文档语义向量化后，在编码可导航伸展图上进行贪婪搜索后返回最接近的TopK篇文档。本发明将优秀的图基近似最近邻搜索方法——可导航伸展图应用在海量文档搜索上，加快了文档搜索速度，使用归一化编码的方法对海量文档向量进行压缩存储，在保证相当搜索速度的同时又大幅度降低了内存消耗。

技术领域

本发明涉及自然语言处理和近似最近邻搜索领域，具体涉及一种基于编码可导航伸展图的近邻文档搜索方法。

背景技术

互联网时代，论文、专利、网页等大规模文本文档呈现在我们面前，在海量文档中快速、高效、准确地在线文档检索是当前搜索引擎面临的一个重大挑战。

近年来，各类近似最近邻搜索技术的研究获得了突破性的进展，广泛应用的近似最近邻搜索技术包括树方法、哈希方法、量化方法和图方法，其中图方法最具研究潜力。

当前性能排在前列的近似最近邻搜索算法几乎都是基于图的方法，如分层可导航小世界图(HNSW)，可导航伸展图(NSG)等。其中可导航伸展图是最近由康奈尔大学Arxiv网站上的技术文章《Fast Approximate Nearest Neighbor Search With The NavigatingSpreading-out Graph》提出的一种高效的基于图的搜索方法，将这种高效的近似最近邻搜索技术应用在海量文档搜索上是很有意义的。

然而目前基于图的搜索方法非常依赖于原始向量，将海量文档语义向量化后得到的原始海量文档向量具有较大的内存占用，这将使可导航伸展图的索引构建和在其上的搜索过程具有较大的内存消耗。

发明内容

本发明提出了一种基于编码可导航伸展图的近邻文档搜索方法，这种方法加快了近邻文档搜索速度，同时使用归一化编码的方法对海量文档向量进行压缩存储，在保证相当搜索速度的同时又大幅度的降低了近邻文档搜索过程的内存消耗。

本发明所提出的一种基于编码可导航伸展图的近邻文档搜索方法具体内容如下：

(1)对海量文档进行语义向量化。

(2)将得到的海量文档向量通过归一化编码进行压缩存储。

(3)基于归一化编码存储的海量文档向量建立编码可导航伸展图。

(4)在编码可导航伸展图上对查询文档进行近邻文档搜索。

其中，步骤(1)所述的对海量文档进行语义向量化的结果是得到海量文档对应的海量文档向量S，S表示为：

S＝{v_i|i＝0，1，...，N-1}

上式中v_i为第i个文档对应的向量，N为文档向量的个数。

步骤(2)的具体过程为：

(2-1)遍历S中的每一个向量，分别计算出每一维的最大值j_max和最小值j_min，其中j＝0，1，...，dim-1，dim为文档向量的维度，从而得到最大值向量vmax和最小值向量vmin，即最大值表示为：

vmax＝[0_max，1_max，...，(dim-1)_max]

最小值表示为：

vmin＝[0_min，1_min，...，(dim-1)_min]