[发明专利]一种基于发布/订阅模式的分布式度量相似查询处理方法有效
申请号: | 201710408855.1 | 申请日: | 2017-06-02 |
公开(公告)号: | CN107273464B | 公开(公告)日: | 2020-05-12 |
发明(设计)人: | 高云君;陈璐;杨克宇;李信晗;陈刚;陈纯 | 申请(专利权)人: | 浙江大学 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/245 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 邱启旺 |
地址: | 310058 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 发布 订阅 模式 分布式 度量 相似 查询 处理 方法 | ||
1.一种基于发布/订阅模式的分布式度量相似查询处理方法,其特征在于:该方法的步骤如下:
步骤(1):对应用中给定的度量空间数据集进行随机采样,得到样本数据;
步骤(2):对得到的样本数据进行支枢点选择,并据此将应用中给定的整个数据集从度量空间映射至向量空间;
步骤(3):利用样本数据构建KD树,得到叶子节点对应的空间划分;
步骤(4):根据步骤(3)得到空间划分,将应用中给定的度量空间数据集进行划分,并将划分后的数据分发到对应的工作节点;
步骤(5):各个工作节点对分配到的数据建立局部索引,工作节点、管理节点以及根节点形成树形层次结构,并对自己负责的数据信息进行统计;
步骤(6):将用户的查询请求作为任务发布,各个节点判断、订阅查询范围与自己职责范围相交的任务,并在所有相关工作节点返回结果后,对结果进行整合并返回给用户;
所述步骤(2)具体为:
2.1)在样本数据中找出离群点作为支枢点的候选集合;
2.2)根据支枢点的选择目标,对候选集合中的点进行增量式的贪心选择,得到支枢点集;
2.3)对于每一个在度量空间中的数据,计算其与步骤2.2)中得到的支枢点集中的每个支枢点之间的距离,并将求得的距离作为向量空间中各维度的坐标值,以得到度量空间数据在向量空间中的坐标;
所述的步骤(3)具体为:
对步骤(1)得到的样本数据,构建KD树,得到的KD树中包含数据点个数相等的叶子节点,各叶子节点对应的空间区域即为空间划分的结果;
所述的步骤(4)具体为:
将应用中给定的整个度量空间数据集划分到步骤(3)得到的相应空间划分中去;完成划分后的数据分发到对应的工作节点,进行下一步处理;
所述的步骤(5)具体为:
5.1)各个工作节点对分配到的数据建立局部M树索引;
5.2)工作节点、管理节点以及根节点形成树形结构,工作节点作为叶子节点,直接负责数据处理;管理节点作为中间节点,负责管理子节点以及与上层进行通讯;根节点负责管理整个分布式系统;
5.3)每个节点统计自己负责数据的信息,包括数据的范围、数目;管理节点、根节点还需记录自己对应子节点的相关统计信息;
所述的步骤(6)具体为:
6.1)将用户的查询作为任务发布,各个节点查看发布中的任务,若与自己负责的数据范围相交,则对其进行基于M树索引的最佳优先查询处理;
6.2)最初发布任务的节点维护一个计数器,该计数器用于计算完成任务的工作节点数量,计数器在所有相关的工作节点返回结果后会被加满;在计数器加满后,该节点对得到结果进行整合并返回给用户。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710408855.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种大数据文具检索系统
- 下一篇:SQL注入检测方法