[发明专利]一种基于位置敏感哈希的分布式索引方法

权利要求书

1.一种基于位置敏感哈希的分布式索引方法，其特征是以多台计算机作为节点，多机协同创建索引与搜索，包括以下步骤：

1)对原始海量数据利用聚类方法进行聚类，所述原始海量数据指被检索的原始海量图片或视频特征数据；

2)聚类结束后，将每个聚类中心映射到不同计算机节点上；

3)将原始海量数据映射到所属类对应的节点上，每个节点处理一个类，映射到节点上的数据作为该节点的特征数据点；

4)利用基于p-稳定分布的位置敏感哈希方法建立不同节点上的数据索引，即分布式索引，以供后续搜索；

5)根据得到的分布式索引，对查询特征数据点进行分布式搜索，所述查询特征数据点指待搜索的特征数据点。

2.根据权利要求1所述的一种基于位置敏感哈希的分布式索引方法，其特征是步骤1)对原始海量数据进行聚类时，首先对原始海量数据进行采样，然后在样本数据集上利用聚类算法进行聚类，进行聚类计算时，利用MapReduce对采样数据进行并行聚类，得到聚类结果，所述聚类算法包括k-means，BIRCH，CLIQUE，SUBCLU，DBSCAN和近邻传播。

3.根据权利要求1或2所述的一种基于位置敏感哈希的分布式索引方法，其特征是步骤4)具体为：

4.1)生成基于p-稳定分布的位置敏感哈希的哈希函数i=1，...，N，其中N为哈希函数的个数，a_i为d维向量，其元素是服从高斯分布的随机数，v表示d维特征数据点，b_i是随机偏移，服从区间[0，w]上的均匀分布，w为一正整数，根据不同的应用场景设定；一共生成L×k个哈希函数对每个特征数据点利用生成的L×k个哈希函数进行哈希，供特征数据点所属的节点使用，k和L的选择对应于搜索结果质量和搜索反应速度，设定标准为p₁是位置敏感哈希函数族中近距离数据点的至少冲突概率，δ是搜索结果的最低召回率；

4.2)计算每个节点上的各特征数据点的哈希值g₀，…，g_L-1，得到节点的哈希表，其中g_f=(h_f0，…，h_f(k-1))，f=0，...，L-1，即对于每一特征数据点，将哈希得到的L×k个哈希结果每k个拼接到一起，组成一个k维向量g_f=(h_f0，…，h_f(k-1))，共L组k维向量，用这L组哈希结果向量来构成索引文件。