[发明专利]面向Storm连续范围查询全局负载均衡的分组方法及查询方法有效
申请号: | 201710536098.6 | 申请日: | 2017-07-04 |
公开(公告)号: | CN107357659B | 公开(公告)日: | 2020-09-29 |
发明(设计)人: | 王波涛;王国仁;周建鹏;张玉圻;王助;钟汉辉 | 申请(专利权)人: | 东北大学 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F16/2453;G06F16/2455 |
代理公司: | 北京君泊知识产权代理有限公司 11496 | 代理人: | 王程远 |
地址: | 110169 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 storm 连续 范围 查询 全局 负载 均衡 分组 方法 | ||
1.一种面向Storm连续范围查询全局负载均衡的分组方法,其特征在于,包括:
1)、获取范围查询信息,所述范围查询信息包括查询范围和网格重叠量;
2)、根据查询范围和网格重叠量,将范围查询分为多个子查询,每个子查询的查询范围只和一个网格重叠;
3)、读取Redis中存储的与子查询查询范围重叠网格中移动对象的密度,并根据子查询的查询范围以及网格中移动对象的密度,计算子查询的代价;
4)、根据查询代价,将子查询映射到相应的组,然后从轮询计数器表中获取该组计数器的值;
所述根据查询代价,将子查询映射到相应的组的具体步骤为:
4.1、设定查询代价阈值范围,判断查询代价与查询代价阈值范围的大小,若查询代价大于或小于查询代价阈值范围,则直接根据查询代价和第一次分组粒度计算所在组;
4.2、对于其他的范围子查询,由于其数量过多,所以将其做更细粒度的分组,则根据查询代价、第一次分组粒度和第二次分组粒度计算所在组;
5)、根据计数器的值对下游worker的数量取模,得到目标worker id,并将目标workerid下发到下游。
2.根据权利要求1所述的面向Storm连续范围查询全局负载均衡的分组方法,其特征在于,所述步骤2)中根据查询范围和网格重叠量,将范围查询分为多个子查询具体包括:
2.1、设定分组数量,根据分组数量计算第一次分组粒度;
2.2、设定二次分组数量,根据第一次分组粒度和二次分组数量计算二次分组的粒度,计算公式为:
minGrain=grain/minGroup
其中,所述minGrain为二次分组粒度,grain为第一次分组粒度,minGroup为二次分组数量。
3.根据权利要求1所述的面向Storm连续范围查询全局负载均衡的分组方法,其特征在于,所述子查询的代价公式为:
C(q)=r×d
其中,所述r为子查询的查询范围大小,d为网格中移动对象的密度。
4.根据权利要求1所述的面向Storm连续范围查询全局负载均衡的分组方法,其特征在于,所述轮询计算器存储在Redis中。
5.一种面向Storm连续范围查询全局负载均衡的查询方法,其特征在于,包括:
1)、获取范围查询信息,所述范围查询信息包括查询范围和网格重叠量;将范围查询按照查询范围与网格重叠情况,划分为相应的子查询,将所述子查询按照全局分组轮询的分组策略分发到下游目标worker;
2)、执行范围查询的子查询,并以范围查询的时间戳为key,按照Fields Grouping的分组策略分发到下游worker,确保属于同一个范围查询的子查询被分发到同一个worker;
3)、将属于同一个范围查询的子查询的查询结果合并,得到最终的查询结果,最后将最终的查询结果以Shuffle Grouping的分组方式分发到下游Bolt;
4)、将范围查询结果发布到Kafka,由客户端订阅;
所述将所述子查询按照全局分组轮询的分组策略分发到下游目标worker具体包括:
1.1、获取范围查询信息,所述范围查询信息包括查询范围和网格重叠量;
1.2、根据查询范围和网格重叠量,将范围查询分为多个子查询,每个子查询的查询范围只和一个网格重叠;
1.3、读取Redis中存储的与子查询查询范围重叠网格中移动对象的密度,并根据子查询的查询范围以及网格中移动对象的密度,计算子查询的代价;
1.4、根据查询代价,将子查询映射到相应的组,然后从轮询计数器表中获取该组计数器的值;
1.5、根据计数器的值对下游worker的数量取模,得到目标worker id,并将目标workerid下发到下游。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北大学,未经东北大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710536098.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于滑模摊铺机的转向控制器
- 下一篇:半挂车大梁及半挂车