[发明专利]一种分布式存储方法、服务器及客户端有效
申请号: | 201911195633.1 | 申请日: | 2019-11-28 |
公开(公告)号: | CN111061431B | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 丁继强;郭庆;谢莹莹;于宏亮 | 申请(专利权)人: | 曙光信息产业股份有限公司;曙光信息产业江苏有限公司;中科曙光信息产业成都有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 唐正瑜 |
地址: | 300450 天津市滨海新区华*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 存储 方法 服务器 客户端 | ||
1.一种分布式存储方法,其特征在于,包括:
服务器接收客户端发送的写请求,其中,所述写请求由客户端通过第一负载均衡策略发送,所述写请求包括待写入的目标数据;
所述服务器响应所述客户端发送的所述写请求,根据第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘;
所述服务器的磁盘中存储有一个索引的一个主分片和/或副本分片;
所述根据第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘,包括:
通过所述第二负载均衡策略确定存储所述目标数据的目标磁盘;
将所述目标数据写入所述目标磁盘存储的索引的主分片;
所述方法还包括:
若当前用于存储新数据的第一索引的存储容量达到预设阈值,则创建第二索引的主分片,所述第二索引为替换所述第一索引的用于存储新数据的索引。
2.根据权利要求1所述的方法,其特征在于,一个索引的主分片的个数等于多个服务器的磁盘总数,一个索引的不同主分片存储在不同的磁盘上。
3.根据权利要求1所述的方法,其特征在于,所述根据第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘,包括:
通过所述第二负载均衡策略确定存储所述目标数据的目标磁盘;
将所述目标数据存入缓存区;
通过异步方式定时的将所述目标数据从所述缓存区写入所述目标磁盘。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在将所述目标数据写入所述缓存区时,将所述目标数据写入事务日志区。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当所述服务器由异常宕机到恢复正常工作时,通过所述事务日志区进行数据恢复。
6.一种分布式存储方法,其特征在于,包括:
客户端获得待写入的目标数据;
所述客户端通过第一负载均衡策略向多个服务器中的一个发送写请求,所述写请求包括所述目标数据;以使所述服务器接收所述客户端发送的所述写请求,并响应所述客户端发送的所述写请求,根据第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘;其中,所述服务器的磁盘中存储有一个索引的一个主分片和/或副本分片;
所述根据第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘,包括:
通过所述第二负载均衡策略确定存储所述目标数据的目标磁盘;
将所述目标数据写入所述目标磁盘存储的索引的主分片;其中,所述索引为根据如下方法生成:
若当前用于存储新数据的第一索引的存储容量达到预设阈值,则创建第二索引的主分片,所述第二索引为替换所述第一索引的用于存储新数据的索引。
7.一种服务器,其特征在于,包括:
请求接收模块,用于接收客户端发送的写请求,其中,所述写请求由客户端通过第一负载均衡策略发送,所述写请求包括待写入的目标数据;
数据写入模块,用于响应所述客户端发送的所述写请求,根据第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘;
所述服务器的磁盘中存储有一个索引的一个主分片和/或副本分片;
所述数据写入模块具体用于:
通过所述第二负载均衡策略确定存储所述目标数据的目标磁盘;
将所述目标数据写入所述目标磁盘存储的索引的主分片;
所述服务器还包括自动分区模块,用于:若当前用于存储新数据的第一索引的存储容量达到预设阈值,则创建第二索引的主分片,所述第二索引为替换所述第一索引的用于存储新数据的索引。
8.一种客户端,其特征在于,包括:
数据获得模块,用于获得待写入的目标数据;
请求发送模块,用于通过第一负载均衡策略向多个服务器中的一个发送写请求,所述写请求包括所述目标数据;以使所述服务器接收所述客户端发送的所述写请求,并响应所述客户端发送的所述写请求,根据第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘;其中,所述服务器的磁盘中存储有一个索引的一个主分片和/或副本分片;
所述根据第二负载均衡策略将所述目标数据写入多个磁盘中的一个磁盘,包括:
通过所述第二负载均衡策略确定存储所述目标数据的目标磁盘;
将所述目标数据写入所述目标磁盘存储的索引的主分片;其中,所述索引为根据如下方法生成:
若当前用于存储新数据的第一索引的存储容量达到预设阈值,则创建第二索引的主分片,所述第二索引为替换所述第一索引的用于存储新数据的索引。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于曙光信息产业股份有限公司;曙光信息产业江苏有限公司;中科曙光信息产业成都有限公司,未经曙光信息产业股份有限公司;曙光信息产业江苏有限公司;中科曙光信息产业成都有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911195633.1/1.html,转载请声明来源钻瓜专利网。