[发明专利]基于映射空间划分的高维数据相似性连接查询方法及装置

说明书

本发明实施例提供一种基于映射空间划分的高维数据相似性连接查询方法及装置。方法包括获取高维的原始数据并将原始数据映射到一维空间；根据第一距离阈值及卡方分布性质确定第二距离阈值，根据第二距离阈值将一维空间划分为多个子空间；确定每一原始数据对应的子空间的编号；根据第二距离阈值和子空间的编号获得候选数据对；计算候选数据对的原始距离并将原始距离与第一距离阈值进行比较获得相似性查询结果。装置用于执行方法。本发明实施例由于将高维原始数据映射到了一维空间，并在一维空间中按照第二距离阈值将原始数据进行划分，然后再进行相似性查询，降低了计算复杂度，减少了候选结果的数量，从而提高了查询效率。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种基于映射空间划分的高维数据相似性连接查询方法及装置。

背景技术

随着数据采集技术的发展和数据采集设备的进步，数据规模、数据精度、数据维度都以前所未有的方式迅速增加。很多类型数据的维度可以达到数千维，甚至上万维，如图形图像、视频、轨迹、时间序列等。高维数据相似性连接查询的目的是从海量高维数据集合中，找出其相似度大于等于给定相似度阈值或者其距离小于等于给定距离阈值的数据对，其在很多领域中均有重要应用，如图片聚类、文档去重、相似视频检测等。

海量高维数据相似性连接查询是一种计算密集型操作，随着数据规模和维度的不断增加，传统的集中式处理方式和基于索引的算法已不能满足性能要求。

相似性查询是一种应用广泛的重要操作，目前有很多血症对其进行了大量研究，针对大规模数据相似性连接查询面临的性能和扩展问题，现有技术中，通过MapReduce框架来进行解决，但是，对于高维数据来说，在通过MapReduce框架进行相似性查询时，其计算复杂度较高，从而导致了查询效率低的问题。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于映射空间划分的高维数据相似性连接查询方法及装置，以解决上述技术问题。

第一方面，本发明实施例提供了一种基于映射空间划分的高维数据相似性连接查询方法，包括：

获取所有待查询的高维的原始数据，并将所述原始数据映射到一维空间；

根据预设的第一距离阈值及卡方分布性质确定第二距离阈值，根据所述第二距离阈值对所述一维空间进行划分，获得多个子空间；

确定每一所述原始数据对应的子空间的编号；

根据所述第二距离阈值和所述子空间的编号获得所述原始数据对应的候选数据对；

计算所述候选数据对的原始距离，并将所述原始距离与所述第一距离阈值进行比较，获得相似性查询结果。

进一步地，所述确定每一所述原始数据对应的子空间的编号，包括：

计算每一所述原始数据在所述一维空间的映射值；

根据所述映射值和所述第二距离阈值确定每一所述原始数据对应的子空间的编号。

进一步地，所述根据所述映射值和所述第二距离阈值确定每一所述原始数据对应的子空间的编号，包括：

根据公式计算获得每一所述原始数据对应的子空间的编号，其中，

S_i为第i个原始数据对应的子空间的编号，π₁(v_i)为第i个原始数据对应的映射值，i为正整数，kε为所述第二距离阈值。

进一步地，所述根据所述第二距离阈值和所述子空间的编号获得所述原始数据对应的候选数据对，包括：