[发明专利]云存储系统中基于数据分布感知的近邻查询方法

摘要

本发明公开了一种云存储系统中基于数据分布感知的近邻查询方法，该方法利用数据的主成分作为局部灵敏哈希的投影向量，并进一步量化索引表中每个哈希函数的权值和调整每个哈希表中哈希函数的切割间隔大小，以保证近邻查询精确度的同时减少构建索引所需的哈希表数量，从而减少哈希表的空间开销。进一步地，该方法根据近邻查询结果的哈希冲突频率来精炼查询结果集合，消除大量不相关的元素，极大地减小了用于距离计算的数据量，减小了查询时延，本发明能够充分利用数据分布的特性，满足快速查询特性，并具有良好的可拓展性。

主权项

1.一种云存储系统中基于数据分布感知的近邻查询方法，其特征在于，包括：S1、从原始高维数据集中随机抽取部分数据组成高维特征数据集；S2、将高维特征数据集中的每一个元素表示为一个多维向量，以将高维特征数据集表示为由多个多维向量组成的矩阵，通过主成分分析来离线计算该矩阵的协方差矩阵，进而得到该矩阵的特征向量和特征值；S3、获取索引表中所需哈希表个数，每个哈希表中哈希函数个数以及冲突阈值；S4、按照特征值的降序顺序，将各特征值对应的特征向量一一对应的作为哈希函数的投影向量，并根据特征向量对应的特征值计算每个哈希表中每个哈希函数的权值，然后调整每个哈希表中哈希函数的切割间隔大小，最后将原始高维数据集通过优化得到的哈希函数映射到整个索引表中，产生哈希冲突的元素通过链表存储；S5、对于每一个查询点，在每个哈希表中，通过优化后的哈希函数计算得到相应的哈希值，通过哈希值定位到哈希表中发生哈希冲突的位置，将该位置的链表中所有元素都存入结果候选集合中，记录结果候选集合中每个元素与查询点产生哈希冲突的次数，将小于预设冲突阈值的元素去除，得到近邻查询集合，通过将近邻查询集合中的每个点与查询点进行距离计算比较，输出所有与查询点距离小于预设距离阈值的元素。