[发明专利]用于服务器集群的数据均衡方法与装置有效
申请号: | 201710003462.2 | 申请日: | 2017-01-04 |
公开(公告)号: | CN106843755B | 公开(公告)日: | 2019-10-11 |
发明(设计)人: | 刘健 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 服务器 集群 数据 均衡 方法 装置 | ||
本申请公开了用于服务器集群的数据均衡方法与装置。方法的一具体实施方式包括:响应于对服务器集群的扩容,确定存储待迁移数据的至少一个源磁盘和用于存储待迁移数据的目标磁盘,其中,至少一个源磁盘位于扩容前的服务器集群的至少一个原服务器中,目标磁盘位于扩容后的服务器集群中的新增服务器中;禁止新增服务器接收对目标磁盘的读写请求,并执行将待迁移数据自源磁盘迁移到目标磁盘的迁移操作;当目标磁盘满足预设条件时,停止执行迁移操作;其中,预设条件包括:目标磁盘的剩余容量和源磁盘的平均磁盘剩余容量相同,平均磁盘剩余容量为源磁盘剩余容量之和除以源磁盘的数量。实现了扩容后的服务器集群在短时间内达到数据均衡,节约了成本。
技术领域
本申请涉及计算机网络技术领域,具体涉及分布式存储应用技术领域,尤其涉及用于服务器集群的数据均衡方法与装置。
背景技术
在大规模分布式存储系统中通常包括多个服务器集群,随着数据量和读写请求的增长各个服务器集群不可避免的需要扩容。服务器集群扩容也就是在服务器集群原有服务器的基础上增加一定数量的新服务器。在服务器集群扩容后数据如何分配成为需要解决的问题。
现有技术中的一种服务器集群扩容后数据分配方法为根据一定策略将原有所有数据集合水平分为多个子集,将部分子集对应的数据迁移至新服务器上,随着上述部分子集的数据迁移,对应这些子集的新增写入也跟随到了新增服务器上。同时,为了不影响正常的数据请求,需要对数据迁移进行控制。这样一来,数据迁移的速度较慢,从而使得依靠数据迁移达到全集群的数据均衡的时间较长。此外,这种数据分配方法需要在各原服务器的空间写满之前进行扩容,增加了服务器集群的扩容成本。
发明内容
本申请的目的在于提出一种改进的用于服务器集群的数据均衡方法与装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种用于服务器集群的数据均衡方法,该方法包括:响应于对服务器集群的扩容,确定存储待迁移数据的至少一个源磁盘和用于存储待迁移数据的目标磁盘,其中,至少一个源磁盘位于扩容前的服务器集群的至少一个原服务器中,目标磁盘位于扩容后的服务器集群中的新增服务器中;禁止新增服务器接收对目标磁盘的读写请求,并执行将待迁移数据自源磁盘迁移到目标磁盘的迁移操作;当目标磁盘满足预设条件时,停止执行迁移操作;其中,预设条件包括:目标磁盘的剩余容量和源磁盘的平均磁盘剩余容量相同,平均磁盘剩余容量为源磁盘剩余容量之和除以源磁盘的数量。
在一些可选的实现方式中,在禁止扩容后新增的服务器接收对目标磁盘的读写请求之前,上述方法还包括:将目标磁盘的状态设置为与源磁盘的状态不同的新加入状态。
在一些可选的实现方式中,上述方法还包括:当目标磁盘满足预设条件时,将目标磁盘的状态设置为与源磁盘的状态相同的普通状态。
在一些可选的实现方式中,上述方法还包括:若属于同一个新增服务器的所有磁盘的状态均为普通状态时,使能该新增服务器接收对目标磁盘的读写请求。
在一些可选的实现方式中,各源磁盘对应的待迁移数据为不同的数据。
在一些可选的实现方式中,上述确定存储待迁移数据的至少一个源磁盘和用于存储源磁盘中的待迁移数据的目标磁盘,包括:确定存储在扩容前的服务器集群中的数据占用的存储空间;将存储空间除以扩容后服务器集群的总存储空间,得到比例阈值;分别计算扩容前的服务器集群中的原服务器中的每一个磁盘的比例参数,比例参数为各磁盘上存储的数据占用的存储空间除以该磁盘的总存储空间;当比例参数大于比例阈值时,将磁盘作为源磁盘。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710003462.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:偏心钻孔的辅助加工组件
- 下一篇:一种回转支承自动夹持设备
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置