[发明专利]存储服务器分配方法、装置、管理服务器以及存储系统有效
申请号: | 201811037145.3 | 申请日: | 2018-09-06 |
公开(公告)号: | CN109189578B | 公开(公告)日: | 2022-04-12 |
发明(设计)人: | 王志远;毛宝龙 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F3/06 |
代理公司: | 中国贸促会专利商标事务所有限公司 11038 | 代理人: | 方亮 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 存储 服务器 分配 方法 装置 管理 以及 存储系统 | ||
本公开提供了一种存储服务器分配方法、装置、管理服务器以及分布式存储系统、存储介质,涉及数据处理技术领域,其中方法包括:周期性地获取存储服务器发送的系统资源繁忙信息,确定与存储服务器相对应的系统繁忙度;如果系统繁忙度小于系统繁忙阈值,则将此系统繁忙度对应的存储服务器设置为候选存储服务器,基于分配策略从候选存储服务器集合中选取候选存储服务器,用以执行读写请求。本公开的方法、装置、管理服务器以及分布式存储系统、存储介质,可以实时平衡分布式集群的压力,减少繁忙存储服务器,从整体上提升整个集群的吞吐量,极大地减少长延时的请求,使集群在提高服务能力的基础上提高服务质量,提升了用户的使用体验。
技术领域
本公开涉及数据处理技术领域,尤其涉及一种存储服务器分配方法、装置、管理服务器以及分布式存储系统、存储介质。
背景技术
分布式存储系统可以由几百、几千甚至上万存储服务器构成,每个存储服务器都作为数据存储的载体。对于大规模的集群来说,存储服务器出现故障的情况经常发生。当前,分布式存储系统的路由策略通常是基于位置的策略或随机策略,基于位置的策略为选择一个离客户端物理位置最近的存储节点。现有的路由策略大多是基于位置的策略,这就导致个别已经处于繁忙状态的存储服务器仍然会等概率的接收到读写请求,因为这些存储服务器已经处于繁忙状态,就导致响应后续的读写请求会有很大的延迟,从而造成一些读写请求非常缓慢,影响客户端访问。
发明内容
有鉴于此,本公开要解决的一个技术问题是提供一种存储服务器分配方法、装置、管理服务器以及分布式存储系统。
根据本公开的一个方面,提供一种存储服务器分配方法,包括:周期性地获取存储服务器发送的系统资源繁忙信息,基于所述系统资源繁忙信息确定与所述存储服务器相对应的系统繁忙度;如果所述系统繁忙度小于系统繁忙阈值,则将此系统繁忙度对应的存储服务器设置为候选存储服务器并加入候选存储服务器集合;当接收到读写请求时,基于分配策略从所述候选存储服务器集合中选取候选存储服务器,用以执行所述读写请求。
可选地,所述基于分配策略从所述候选存储服务器集合中选取候选存储服务器包括:基于所述系统繁忙度对所述候选存储服务器集合中的候选存储服务器设置优先级;基于所述优先级对所述候选存储服务器进行排序;当接收到所述读写请求时,选取排在最前的所述候选存储服务器,用以存储所述存储数据。
可选地,当从所述候选存储服务器集合中选取第一候选存储服务器时,将所述第一候选存储服务器的优先级修改为预设值;其中,当接收到所述读写请求时,不选取优先级为所述预设值的所述第一候选存储服务器;周期性地接收到所述第一候选存储服务器发送的存储处理结果信息,基于所述处理结果信息确定所述第一候选存储服务器是否完成对于所述存储数据的存储处理;如果是,则基于所述系统繁忙度对所述第一候选存储服务器设置优先级。
可选地,如果基于所述处理结果信息确定所述第一候选存储服务器在预设的时长阈值内没有完成所述存储处理,则向所述第一候选存储服务器发送控制指令,用以控制所述第一候选存储服务器停止执行所述存储处理,并且,在所述候选存储服务器集合中选取排在最前的第二候选存储服务器,用以存储与所述存储数据;其中,所述第一候选存储服务器通过心跳报文发送所述存储处理结果信息。
可选地,所述基于所述系统资源繁忙信息确定与所述存储服务器相对应的系统繁忙度包括:确定所述系统繁忙度为:
其中,所述系统繁忙度为A,R_i为第i个系统资源繁忙信息,Ci为第i个系统资源繁忙信息的权值,n为所述系统资源繁忙信息的数量。
可选地,接收到所述存储服务器发送的心跳报文,从所述心跳报文中提取所述系统资源繁忙信息;其中,通过所述心跳报文中的至少一个字节携带所述系统资源繁忙信息,所述系统资源繁忙信息包括:CPU繁忙信息、内存繁忙信息、磁盘繁忙信息、网卡繁忙信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811037145.3/2.html,转载请声明来源钻瓜专利网。