[发明专利]一种分布式系统及根据该系统进行逐步扩容的方法在审
| 申请号: | 201410116840.4 | 申请日: | 2014-03-27 |
| 公开(公告)号: | CN103944964A | 公开(公告)日: | 2014-07-23 |
| 发明(设计)人: | 李晓华 | 申请(专利权)人: | 上海云数信息科技有限公司 |
| 主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F17/30 |
| 代理公司: | 暂无信息 | 代理人: | 暂无信息 |
| 地址: | 201112 上海市闵行*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 分布式 系统 根据 进行 逐步 扩容 方法 | ||
1.一种逐步进行扩容的分布式系统,其特征在于:其包括ETL写入数据模块、缓冲模块、数据重分布模块、数据索引分布表形成模块、调度模块以及多个数据库,所述多个数据库承载在多个服务器上,所述缓冲模块为ETL移动硬盘,所述缓冲模块以及多个数据库与所述ETL写入数据模块通讯连接;所述调度模块包括暂停单元、启动单元以及添加任务单元。
2.一种分布式系统进行逐步扩容的方法,其特征在于:其包括以下步骤:
S1:在分布式系统的多个新的数据库产生后,根据多个新的新数据库的数量,数据索引分布表形成模块,生成新的数据索引分布表;
S2:所述暂停单元暂停ETL写入数据模块写入数据的操作,将文件保存至缓冲模块,所述添加任务单元将ETL写入数据的任务添加入任务队列;
S3:所述启动单元启动数据重分布模块,将数据按新的数据索引分布表进行分布;
S4:重新启动ETL写入数据模块,加速处理队列中ETL写入数据的任务;直至ETL写入数据完成后,启动在线查询任务。
3.根据权利要求2所述的逐步扩容的方法,其特征在于:数据索引分布表形成模块根据新数据库的数量,通过业务规则生成新的数据索引分布表。
4.根据权利要求3所述的逐步扩容的方法,其特征在于:所述新的数据索引分布表将旧节点中的数据的30%-60%分布至新的节点中。
5.根据权利要求4所述的逐步扩容的方法,其特征在于:所述新的数据索引分布表将旧节点中的数据的50%分布至新的节点中。
6.根据权利要求2所述的逐步扩容的方法,其特征在于:所述添加任务单元包括选择单元以及命令单元,所述选择单元能够设定ETL写入数据的任务的优先级,所述命令单元根据任务的优先级选择任务执行的先后命令。
7.根据权利要求6所述的逐步扩容的方法,其特征在于:ETL写入数据的任务的优先级分为最高优先级、次优先级以及普通优先级。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海云数信息科技有限公司,未经上海云数信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410116840.4/1.html,转载请声明来源钻瓜专利网。





