[发明专利]面向Storm连续范围查询全局负载均衡的分组方法及查询方法有效

专利信息
申请号: 201710536098.6 申请日: 2017-07-04
公开(公告)号: CN107357659B 公开(公告)日: 2020-09-29
发明(设计)人: 王波涛;王国仁;周建鹏;张玉圻;王助;钟汉辉 申请(专利权)人: 东北大学
主分类号: G06F9/50 分类号: G06F9/50;G06F16/2453;G06F16/2455
代理公司: 北京君泊知识产权代理有限公司 11496 代理人: 王程远
地址: 110169 辽*** 国省代码: 辽宁;21
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 面向 storm 连续 范围 查询 全局 负载 均衡 分组 方法
【权利要求书】:

1.一种面向Storm连续范围查询全局负载均衡的分组方法,其特征在于,包括:

1)、获取范围查询信息,所述范围查询信息包括查询范围和网格重叠量;

2)、根据查询范围和网格重叠量,将范围查询分为多个子查询,每个子查询的查询范围只和一个网格重叠;

3)、读取Redis中存储的与子查询查询范围重叠网格中移动对象的密度,并根据子查询的查询范围以及网格中移动对象的密度,计算子查询的代价;

4)、根据查询代价,将子查询映射到相应的组,然后从轮询计数器表中获取该组计数器的值;

所述根据查询代价,将子查询映射到相应的组的具体步骤为:

4.1、设定查询代价阈值范围,判断查询代价与查询代价阈值范围的大小,若查询代价大于或小于查询代价阈值范围,则直接根据查询代价和第一次分组粒度计算所在组;

4.2、对于其他的范围子查询,由于其数量过多,所以将其做更细粒度的分组,则根据查询代价、第一次分组粒度和第二次分组粒度计算所在组;

5)、根据计数器的值对下游worker的数量取模,得到目标worker id,并将目标workerid下发到下游。

2.根据权利要求1所述的面向Storm连续范围查询全局负载均衡的分组方法,其特征在于,所述步骤2)中根据查询范围和网格重叠量,将范围查询分为多个子查询具体包括:

2.1、设定分组数量,根据分组数量计算第一次分组粒度;

2.2、设定二次分组数量,根据第一次分组粒度和二次分组数量计算二次分组的粒度,计算公式为:

minGrain=grain/minGroup

其中,所述minGrain为二次分组粒度,grain为第一次分组粒度,minGroup为二次分组数量。

3.根据权利要求1所述的面向Storm连续范围查询全局负载均衡的分组方法,其特征在于,所述子查询的代价公式为:

C(q)=r×d

其中,所述r为子查询的查询范围大小,d为网格中移动对象的密度。

4.根据权利要求1所述的面向Storm连续范围查询全局负载均衡的分组方法,其特征在于,所述轮询计算器存储在Redis中。

5.一种面向Storm连续范围查询全局负载均衡的查询方法,其特征在于,包括:

1)、获取范围查询信息,所述范围查询信息包括查询范围和网格重叠量;将范围查询按照查询范围与网格重叠情况,划分为相应的子查询,将所述子查询按照全局分组轮询的分组策略分发到下游目标worker;

2)、执行范围查询的子查询,并以范围查询的时间戳为key,按照Fields Grouping的分组策略分发到下游worker,确保属于同一个范围查询的子查询被分发到同一个worker;

3)、将属于同一个范围查询的子查询的查询结果合并,得到最终的查询结果,最后将最终的查询结果以Shuffle Grouping的分组方式分发到下游Bolt;

4)、将范围查询结果发布到Kafka,由客户端订阅;

所述将所述子查询按照全局分组轮询的分组策略分发到下游目标worker具体包括:

1.1、获取范围查询信息,所述范围查询信息包括查询范围和网格重叠量;

1.2、根据查询范围和网格重叠量,将范围查询分为多个子查询,每个子查询的查询范围只和一个网格重叠;

1.3、读取Redis中存储的与子查询查询范围重叠网格中移动对象的密度,并根据子查询的查询范围以及网格中移动对象的密度,计算子查询的代价;

1.4、根据查询代价,将子查询映射到相应的组,然后从轮询计数器表中获取该组计数器的值;

1.5、根据计数器的值对下游worker的数量取模,得到目标worker id,并将目标workerid下发到下游。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北大学,未经东北大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710536098.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top