[发明专利]基于距离划分树的高维数据相似性连接查询方法及装置

说明书

本发明实施例提供一种基于距离划分树的高维数据相似性连接查询方法及装置。方法包括获取高维的原始数据，并将原始数据映射到一维空间；根据第一距离阈值及卡方分布性质确定第二距离阈值，根据原始数据和第二距离阈值构建距离划分树；遍历距离划分树并对距离划分树中的各节点进行比较获得候选相似节点对集合；计算候选相似节点对集合中各候选相似节点对包括的原始数据之间的原始距离，并将原始距离与第一距离阈值进行比较获得相似性查询结果。装置用于执行方法，本发明实施例通过将高维原始数据映射到一维空间降低了计算的复杂度，通过距离划分树可以以较低的代价找到候选结果，增强了过滤效果，从而大大提高查询效率。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种基于映射空间划分的高维数据相似性连接查询方法及装置。

背景技术

随着数据采集技术的发展和数据采集设备的进步，数据规模、数据精度、数据维度都以前所未有的方式迅速增加。很多类型数据的维度可以达到数千维，甚至上万维，如图形图像、视频、轨迹、时间序列等。高维数据相似性连接查询的目的是从海量高维数据集合中，找出其相似度大于等于给定相似度阈值或者其距离小于等于给定距离阈值的数据对，其在很多领域中均有重要应用，如图片聚类、文档去重、相似视频检测等。

海量高维数据相似性连接查询是一种计算密集型操作，随着数据规模和维度的不断增加，传统的集中式处理方式和基于索引的算法已不能满足性能要求。

相似性查询是一种应用广泛的重要操作，目前有很多血症对其进行了大量研究，针对大规模数据相似性连接查询面临的性能和扩展问题，现有技术中，通过MapReduce框架来进行解决，但是，对于高维数据来说，在通过MapReduce框架进行相似性查询时，其计算复杂度较高，从而导致了查询效率低的问题。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于距离划分树的高维数据相似性连接查询方法及装置，以解决上述技术问题。

第一方面，本发明实施例提供了一种基于距离划分树的高维数据相似性连接查询方法，包括：

获取所有待查询的高维的原始数据，并将所述原始数据映射到一维空间；

根据预设的第一距离阈值及卡方分布性质确定第二距离阈值，根据所述一维空间中的所述原始数据和所述第二距离阈值构建距离划分树；

遍历所述距离划分树，并对所述距离划分树中的各节点进行比较，获得候选相似节点对集合；

计算所述候选相似节点对集合中各候选相似节点对包括的原始数据之间的原始距离，并将所述原始距离与所述第一距离阈值进行比较，获得相似性查询结果。

进一步地，所述根据所述一维空间中的所述原始数据和所述第二距离阈值构建距离划分树，包括：

根据所述原始数据构建根节点；

根据所述第二距离阈值对所述一维空间进行划分，获得所述根节点对应的多个子节点；

计算各原始数据在所述一维空间的映射值，根据所述映射值和所述第二距离阈值计算各原始数据对应的所述子节点的编号；

若判断获知所述子节点的编号不存在，则生成对应编号的新子节点；

若判断获知所述子节点中所述原始数据的个数大于预设阈值，则根据所述子节点的距离范围对所述子节点进行再次划分，直至所述子节点中的原始数据的个数小于或等于所述预设阈值，获得所述距离划分树。

进一步地，所述根据所述一维空间中的所述原始数据和所述第二距离阈值构建距离划分树，包括：

从所述原始数据中随机获取原始数据子集，根据所述原始数据子集构建对应的初始距离划分树；