[发明专利]云存储集群的数据均衡方法、装置、设备和存储介质在审
申请号: | 201810653142.6 | 申请日: | 2018-06-22 |
公开(公告)号: | CN110636091A | 公开(公告)日: | 2019-12-31 |
发明(设计)人: | 刘洋;张海杰 | 申请(专利权)人: | 北京东土科技股份有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F9/50 |
代理公司: | 11332 北京品源专利代理有限公司 | 代理人: | 孟金喆 |
地址: | 100041 北京市石*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 云存储 集群 数据均衡 权重 存储能力 存储介质 存储数据 网络负荷 相应节点 迁移量 写入 存储 均衡 平衡 | ||
本发明实施例公开了一种云存储集群的数据均衡方法、装置、设备和存储介质。本发明实施例一种云存储集群的数据均衡方法包括:当云存储集群中的节点发生变化时,获取云存储集群中的节点的权重值,所述权重值用于表示对应节点的存储能力,权重值越高表示对应节点的存储能力越高;以将数据写入权重值最高者对应的节点为目的,在所述云存储集群的现有节点中均衡存储数据,并根据数据均衡存储后的存储能力调整相应节点的权重值。本发明实施例实现在云存储集群中的节点发生变化时以最少的数据均衡迁移量达到各节点的平衡,减少网络负荷,提高数据均衡效率。
技术领域
本发明实施例涉及云计算存储技术,尤其涉及一种云存储集群的数据均衡方法、装置、设备和存储介质。
背景技术
在云存储集群中存在物理资源发生变动的情况,具体的原因包括因为某个存储节点损坏导致该节点离线,或者因为存储容量不够需要添加一个存储节点等。
目前针对物理资源发生变动,云存储集群的解决策略是更新集群的整体拓扑结构,重新计算集群中的数据的位置,进行重新的均衡操作。
但是,上述策略在集群拓扑变动的情况下始终会造成数据的重新均衡移动,即使经过算法的优化可以让大部分数据不需要移动,但在集群中存储了大量数据的情况下,也会使得相当一部分数据的均衡,这会造成网络负载增大,影响服务。
发明内容
本发明实施例提供一种云存储集群的数据均衡方法、装置、设备和存储介质,以实现在云存储集群中的节点发生变化时以最少的数据均衡迁移量达到各节点的平衡,减少网络负荷,提高数据均衡效率。
第一方面,本发明实施例提供了一种云存储集群的数据均衡方法,包括:
当云存储集群中的节点发生变化时,获取云存储集群中的节点的权重值,所述权重值用于表示对应节点的存储能力,权重值越高表示对应节点的存储能力越高;
以将数据写入权重值最高者对应的节点为目的,在所述云存储集群的现有节点中均衡存储数据,并根据数据均衡存储后的存储能力调整相应节点的权重值。
可选的,当所述云存储集群中加入新节点时,所述新节点为新注册加入所述云存储集群的节点,在所述获取云存储集群中的节点的权重值之前,还包括:
将所述新节点的权重值确定为权重值范围中的最高值。
可选的,当所述云存储集群中加入旧节点时,所述旧节点为已加入过所述云存储集群并退出的节点,在所述获取云存储集群中的节点的权重值之前,还包括:
确定所述旧节点中存储的数据;
查询在所述云存储集群的现有节点中是否已经有N个节点备份了所述旧节点中存储的数据,N为设定的数据备份总数;
从所述旧节点中删除已在所述云存储集群的N个节点中备份过的数据,并根据删除数据后的存储能力计算所述旧节点的权重值。
可选的,所述以将数据写入权重值最高者对应的节点为目的,在所述云存储集群的现有节点中均衡存储数据,并根据数据均衡存储后的存储能力调整相应节点的权重值,包括:
将新传入的数据做N个备份,并将各个备份分别写入所述权重值中的前N个值高者对应的现有节点,并根据写入所述新传入的数据后的存储能力分别调整所述前N个值高者对应的现有节点的权重值。
可选的,当所述云存储集群中删除节点时,在所述获取云存储集群中的节点的权重值之前,还包括:
确定删除的节点中存储的数据;
所述以将数据写入权重值最高者对应的节点为目的,在所述云存储集群的现有节点中均衡存储数据,并根据数据均衡存储后的存储能力调整相应节点的权重值,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京东土科技股份有限公司,未经北京东土科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810653142.6/2.html,转载请声明来源钻瓜专利网。