[发明专利]索引构建方法、装置、数据系统及搜索方法

说明书

本申请涉及数据检索技术领域，公开了一种索引构建方法、装置、数据系统及搜索方法。其中，索引构建方法包括：确定当前节点的各聚类集合；在当前节点的各聚类集合中确定第一预设数量的边缘点作为下一节点的预设代表点；基于下一节点的预设代表点，获取下一节点的各聚类集合；确定目标向量以及目标向量在各节点内所在的第一聚类集合；分别在各节点中，建立目标向量与目标向量所在的第一聚类集合之间的索引关联。基于上述方案，可以使得向量检索的过程中，搜索各节点中目标向量所在的聚类集合，能够有效避免由于聚类集合的代表点并不能完全表示聚类集合中的所有特征向量所引起的搜索精确度较低的问题，进而有效提高搜索精度。

技术领域

本申请涉及数据检索技术领域，特别涉及一种索引构建方法、装置、数据系统及搜索方法。

背景技术

随着数据的快速增长，数据检索广泛应用于图像、视频、语音、蛋白质分子结构检索等领域中，由于各种数据，例如图片数据等均可以被抽象为高维度的特征向量，因此数据之间的相似度可以被量化为向量空间中的特征向量之间的距离。例如，两个特征向量之间的距离越近，则该两个特征向量对应的原始数据的相似度越高。因此数据检索可以转化为在向量空间中的向量搜索，即将在数据库中搜索与待查询数据相似的若干个数据的过程，转化为在数据库中搜索距离待查询数据所对应的查询向量最近的若干个特征向量的过程。

目前，一些检索系统会为数据库构建倒排索引以便于用户检索。其中，倒排索引的构建方法为首先将数据库中各数据对应的各特征向量通过聚类处理，例如通过k-means聚类处理，把整个向量空间划分为若干个聚类集合，每个聚类集合具有对应的代表点，并将每个特征向量归入到距离自身最近的代表点所对应的聚类集合中。如此，在进行查询向量的检索时，系统将会根据查询向量与多个代表点的距离确定出与查询向量最近的代表点，并对该代表点所在的聚类集合中的所有的特征向量进行搜索，可以理解，对所有的特征向量进行搜索即是获取每个特征向量与查询向量之间的距离。然后将该聚类集合中与查询向量之间距离较近的若干个特征向量作为搜索结果。

但是，由于检索系统是确定与查询向量距离最近的代表点，然后仅仅将此代表点所在的聚类集合内与查询向量距离较近的若干个特征向量作为搜索结果，所以会存在，在其他代表点所在的聚类集合内，虽然代表点距离查询向量远，反而存在与查询向量距离更近的若干个特征向量的情况，使得未获取到更加准确的查询向量的目标向量，导致检索结果的精确度较低。

发明内容

为解决向量检索方法检索结果的精确度较低的问题，本申请实施例提供了一种索引构建方法、装置、数据系统及搜索方法。

第一方面，本申请实施例提供了一种索引构建方法，应用于电子系统，其中，所述电子系统包括用于向量存储的多个节点，所述方法包括：

确定当前节点的各聚类集合；

在所述当前节点的各聚类集合中确定第一预设数量的边缘点作为下一节点的预设代表点；

基于所述下一节点的预设代表点，获取所述下一节点的各聚类集合；

确定目标向量以及所述目标向量在各节点内所在的第一聚类集合；

分别在所述各节点中，建立所述目标向量与所述目标向量所在的第一聚类集合之间的索引关联。

可以理解的，本申请实施例提供的索引构建方法，将当前节点的各聚类集合中确定第一预设数量的边缘点作为下一节点的预设代表点，基于下一节点的预设代表点，获取下一节点的各聚类集合。如此，在检索的过程中，通过获取查询向量距离各节点内的聚类集合的代表点即中心点的距离，并可以根据获取的查询向量与各节点的代表点之间的距离，获取查询向量在各节点内对应的目标向量。然后可以将查询向量在各节点内对应的目标向量汇总进行对比，以实现搜索到与查询向量距离最近的，或最为精确的目标向量，能够有效提高搜索精度。

可以理解，本申请实施例中所提及的第一聚类集合中的目标向量可以为第一聚类集合中的任一向量。