[发明专利]基于多处理器平台的视觉特征并行快速匹配方法和系统

说明书

本发明涉及一种基于多处理器平台的视觉特征并行快速匹配方法和系统，包括：根据层次聚类算法对包含视觉特征的数据集进行层次聚类以获得聚类树，并根据聚类阈值确定该聚类树中各类别的聚类中心；根据该处理器个数和该聚类中心的个数，建立该聚类中心到各处理器的映射，以在各处理器的本地内存中建立哈希表；根据用户输入的查询数据与各聚类中心的距离，选择多个聚类中心所对应的哈希表作为待查表项；在每个待查表项上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果的候选点，通过计算该候选点与该查询数据之间的距离，对该候选点进行筛选得到查询结果。由此本发明可显著地提高查询效率，应对千万规模的数据检索。

技术领域

本发明涉及基于内容的大规模图像检索技术领域，特别涉及一种基于多处理器平台的视觉特征并行快速匹配方法和系统。

背景技术

随着互联网的发展，网络上图片数据越来越多。如何从海量的图片数据集中快速准确地找出与给定图片相似的图片集合，已成为一个具有广阔应用背景同时又具有挑战性的问题。

对于小规模的图片检索任务，在现有硬件条件下，通过暴力搜索来查询数据的K近邻数据，是可行的解决方案。但是当数据规模达到千万级别时，暴力搜索方法不论在时间上还是在空间上，都面临诸多挑战。

针对上述问题，研究人员提出基于散列函数的局部敏感哈希(LocalitySensitive Hashing)算法。该算法使用一组局部敏感的散列函数簇，将原始数据散列，生成二进制串，进而构建对应不同散列函数的哈希表。该算法能够保证原始数据空间中距离相近的数据，在海明空间中以较大的概率仍处于近邻位置。

局部敏感哈希算法将数据相似度计算从复杂的欧式空间转换到可快速计算的海明空间。通过计算数据散列之后的二进制串之间的海明距离，来查找相似的数据，能够显著地减少查询时间，提高查找效率。

但是当数据规模达到千万级别时，局部敏感哈希算法会出现数据聚集在同一个哈希桶里，导致候选点数目增加，匹配速度下降。虽然通过增加哈希桶的数量来解决查找速度变慢的问题。但是随着哈希桶数量的增加，相似的数据散列到不同哈希桶里的概率随之增加，使得查询召回率下降。为此需要引入多组哈希核函数，构建多个哈希表，并汇总多个哈希表的查询结果，以保证查询的精度，但是多组哈希表的内存开销是线性增加的。

针对上述问题，研究人员提出使用分布式查询方式，把数据分配到多个物理节点上，节点之间并行查询，以提高查询速度。多节点之间通过网络通信汇总查询结果。但是，查询效率容易受到网络环境的影响。网络延迟，网络丢包等因素都容易影响到查询效率。

发明内容

针对上述问题，提出一种在非统一内存访问架构(NUMA)下的多处理器平台上基于数据划分的局部敏感哈希索引的建立和检索的方法。

具体地说，本发明公开了一种基于多处理器平台的视觉特征并行快速匹配方法，其中包括：

步骤1、提取图片或视频帧的视觉特征，并将所有视觉特征集合为数据集，根据层次聚类算法对该数据集进行层次聚类以获得聚类树，并通过该图片数据的规模和多处理器平台中处理器个数确定聚类阈值，根据该聚类阈值确定该聚类树中各类别的聚类中心；

步骤2、根据该处理器个数和该聚类中心的个数，建立该聚类中心到各处理器的映射，以在各处理器的本地内存中建立哈希表；

步骤3、根据用户输入的查询数据与各聚类中心的距离，选择K个聚类中心所对应的哈希表作为待查表项，其中K为正整数；

步骤4、在每个待查表项上计算查询数据的哈希值，选择与查询数据哈希值相同的数据作为查询结果的候选点，通过计算该候选点与该查询数据之间的距离，对该候选点进行筛选，并将筛选得到的候选点作为查询结果。