[发明专利]基于Spark的高维序列数据相似性查询方法及系统

摘要

本发明公开了一种基于Spark的高维序列数据相似性查询方法及系统，包括数据预处理、索引构建和查询等处理步骤。本发明使用分布式集群Spark提高计算能力；通过利用局部敏感哈希(LSH)函数来构建索引解决了高维序列数据处理困难等问题；查询过程只在部分Worker节点中进行，大大降低了数据的处理量，并且通过碰撞计数机制，有效的减少了候选集的规模，加速相似性查找的速率。本发明可以对用户任意给出的一条高维序列数据对象，快速且准确的从大规模数据集中查找出大部分相似数据对象。

主权项

1.一种基于Spark的高维序列数据相似性查询方法，其特征在于，包括以下步骤：/n步骤(1)，将高维序列数据读入到Spark集群单元中进行数据预处理；/n步骤(2)，对预处理后的数据进行索引构建：/n步骤(2.1)，选取局部敏感哈希LSH哈希函数族，用于构建复合哈希函数g