[发明专利]基于高熵超平面簇的大规模数据局部敏感哈希搜索方法

权利要求书

1.基于高熵超平面簇的大规模数据局部敏感哈希搜索方法，其特征在于：其包括以下步骤：

步骤1，构建数据索引的过程；具体包括以下步骤：

步骤1.1，对数据进行矢量量化，得到分布信息；分布信息包括码矢及权重；

步骤1.2，在分布信息的基础上，应用分布估计算法对投影平面的组合进行筛选得到n组高熵超平面簇；

步骤1.3，计算每组高熵超平面簇的数据的哈希编码形成n个哈希编码字典，进而构成数据索引；

步骤2，进行数据的查询过程；具体包括以下步骤：

步骤2.1，根据已经构建好的索引框架，计算查询点的哈希编码；

步骤2.2，通过查询点的哈希编码找到多组候选点索引集，交叉过滤得到最终结果。

2.根据权利要求1所述的基于高熵超平面簇的大规模数据局部敏感哈希搜索方法，其特征在于：步骤1.1的具体方法为：

步骤S1，将数量为n，维度为d的数据集处理为如下格式的数据矩阵：

该矩阵的行数为n，列数为d，每一行包含一个数据向量；

步骤S2，初始化k个码矢：

步骤S3，依照设定的迭代次数t对数据集进行量化迭代获得更新码矢的数据集，

步骤S4，计算更新码矢的数据集的数据矢量与所有码矢之间的距离，将数据集的每个数据矢量分配给与其距离最近的码矢；统计每个码矢对应的样本数目M_i；

步骤S5，计算每个码矢对应的码矢权重W_i＝M_i/nrow(P)；函数nrow用于返回参数矩阵的行数。

3.根据权利要求2所述的基于高熵超平面簇的大规模数据局部敏感哈希搜索方法，其特征在于：步骤S2的k个码矢的初始化步骤如下：

步骤S2.1，通过随机的方式选择第一个初始码矢；

步骤S2.2，选取与当前所有码矢距离最远的点作为下一个码矢至到获取k个码矢。

4.根据权利要求2所述的基于高熵超平面簇的大规模数据局部敏感哈希搜索方法，其特征在于：步骤S3中量化迭代的步骤如下：

步骤S3.1，从初始化后的数据集中抽取b个数据矢量且b大于或等于k，分别计算b个数据矢量与所有码矢之间的距离，将抽取的每个数据矢量分配给与其距离最近的码矢；

步骤S3.2，计算每个码矢对应的一组数据矢量的均值矢量，用计算得到的均值矢量代替原有的码矢；

步骤S3.3，判断是否达到迭代次数上限t；是则，结束迭代；否则，执行步骤3.1。

5.根据权利要求1所述的基于高熵超平面簇的大规模数据局部敏感哈希搜索方法，其特征在于：步骤1.2的n组高熵超平面簇的估算步骤如下：

步骤1.2.1，随机产生N个代表一组超平面的个体组成初始种群，其中每个个体由一个0与1的编码串组成；

步骤1.2.2，计算种群中每个个体的适应度，根据适应度的高低对种群进行排序，保留前Se个高适应度的个体，复制适应度最高个体到数组T中；

步骤1.2.3，计算Se个体中每一位编码的0或1频率分布，同时为该频率分布设置0.9和0.1的上下限；

步骤1.2.4，将该频率分布作为概率模型，按照随机的顺序对新个体的每一位编码进行采样，产生N-Se个符合要求的新样本，与Se个样本组合构成新的种群；

步骤1.2.5，判断是否达到设定的迭代次数t2上限；是则，结束迭代；否则，执行步骤1.2.2；

步骤1.2.6，数组T中适应度最高的个体作为一个高熵超平面。

6.根据权利要求5所述的基于高熵超平面簇的大规模数据局部敏感哈希搜索方法，其特征在于：编码串的长度等于候选超平面的数量，编码串中取值为1的位数的数量等于局部敏感哈希编码的长度。

7.根据权利要求5所述的基于高熵超平面簇的大规模数据局部敏感哈希搜索方法，其特征在于：步骤1.2.2的每个个体的适应度的计算公式如下：

其中，W_i代表第i个子空间中的码矢权重之和。