[发明专利]用于服务器集群的数据均衡方法与装置有效

专利信息
申请号: 201710003462.2 申请日: 2017-01-04
公开(公告)号: CN106843755B 公开(公告)日: 2019-10-11
发明(设计)人: 刘健 申请(专利权)人: 北京百度网讯科技有限公司
主分类号: G06F3/06 分类号: G06F3/06
代理公司: 北京英赛嘉华知识产权代理有限责任公司 11204 代理人: 王达佐;马晓亚
地址: 100085 北京市*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 用于 服务器 集群 数据 均衡 方法 装置
【说明书】:

本申请公开了用于服务器集群的数据均衡方法与装置。方法的一具体实施方式包括:响应于对服务器集群的扩容,确定存储待迁移数据的至少一个源磁盘和用于存储待迁移数据的目标磁盘,其中,至少一个源磁盘位于扩容前的服务器集群的至少一个原服务器中,目标磁盘位于扩容后的服务器集群中的新增服务器中;禁止新增服务器接收对目标磁盘的读写请求,并执行将待迁移数据自源磁盘迁移到目标磁盘的迁移操作;当目标磁盘满足预设条件时,停止执行迁移操作;其中,预设条件包括:目标磁盘的剩余容量和源磁盘的平均磁盘剩余容量相同,平均磁盘剩余容量为源磁盘剩余容量之和除以源磁盘的数量。实现了扩容后的服务器集群在短时间内达到数据均衡,节约了成本。

技术领域

本申请涉及计算机网络技术领域,具体涉及分布式存储应用技术领域,尤其涉及用于服务器集群的数据均衡方法与装置。

背景技术

在大规模分布式存储系统中通常包括多个服务器集群,随着数据量和读写请求的增长各个服务器集群不可避免的需要扩容。服务器集群扩容也就是在服务器集群原有服务器的基础上增加一定数量的新服务器。在服务器集群扩容后数据如何分配成为需要解决的问题。

现有技术中的一种服务器集群扩容后数据分配方法为根据一定策略将原有所有数据集合水平分为多个子集,将部分子集对应的数据迁移至新服务器上,随着上述部分子集的数据迁移,对应这些子集的新增写入也跟随到了新增服务器上。同时,为了不影响正常的数据请求,需要对数据迁移进行控制。这样一来,数据迁移的速度较慢,从而使得依靠数据迁移达到全集群的数据均衡的时间较长。此外,这种数据分配方法需要在各原服务器的空间写满之前进行扩容,增加了服务器集群的扩容成本。

发明内容

本申请的目的在于提出一种改进的用于服务器集群的数据均衡方法与装置,来解决以上背景技术部分提到的技术问题。

第一方面,本申请提供了一种用于服务器集群的数据均衡方法,该方法包括:响应于对服务器集群的扩容,确定存储待迁移数据的至少一个源磁盘和用于存储待迁移数据的目标磁盘,其中,至少一个源磁盘位于扩容前的服务器集群的至少一个原服务器中,目标磁盘位于扩容后的服务器集群中的新增服务器中;禁止新增服务器接收对目标磁盘的读写请求,并执行将待迁移数据自源磁盘迁移到目标磁盘的迁移操作;当目标磁盘满足预设条件时,停止执行迁移操作;其中,预设条件包括:目标磁盘的剩余容量和源磁盘的平均磁盘剩余容量相同,平均磁盘剩余容量为源磁盘剩余容量之和除以源磁盘的数量。

在一些可选的实现方式中,在禁止扩容后新增的服务器接收对目标磁盘的读写请求之前,上述方法还包括:将目标磁盘的状态设置为与源磁盘的状态不同的新加入状态。

在一些可选的实现方式中,上述方法还包括:当目标磁盘满足预设条件时,将目标磁盘的状态设置为与源磁盘的状态相同的普通状态。

在一些可选的实现方式中,上述方法还包括:若属于同一个新增服务器的所有磁盘的状态均为普通状态时,使能该新增服务器接收对目标磁盘的读写请求。

在一些可选的实现方式中,各源磁盘对应的待迁移数据为不同的数据。

在一些可选的实现方式中,上述确定存储待迁移数据的至少一个源磁盘和用于存储源磁盘中的待迁移数据的目标磁盘,包括:确定存储在扩容前的服务器集群中的数据占用的存储空间;将存储空间除以扩容后服务器集群的总存储空间,得到比例阈值;分别计算扩容前的服务器集群中的原服务器中的每一个磁盘的比例参数,比例参数为各磁盘上存储的数据占用的存储空间除以该磁盘的总存储空间;当比例参数大于比例阈值时,将磁盘作为源磁盘。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710003462.2/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top