[发明专利]分布式对象存储系统及数据读写方法在审

专利信息
申请号: 201910548604.2 申请日: 2019-06-24
公开(公告)号: CN112130747A 公开(公告)日: 2020-12-25
发明(设计)人: 甘红星 申请(专利权)人: 北京金山云网络技术有限公司;北京金山云科技有限公司
主分类号: G06F3/06 分类号: G06F3/06
代理公司: 北京柏杉松知识产权代理事务所(普通合伙) 11413 代理人: 丁芸;马敬
地址: 100085 北京*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 分布式 对象 存储系统 数据 读写 方法
【说明书】:

本申请实施例提供了分布式对象存储系统及数据读写方法,该分布式对象存储系统,包括:存储服务器集群,多个Cache组成的Cache集群及多个API客户端;其中,各API客户端均能够访问Cache集群中任一Cache。每个API客户端均能够访问Cache集群中的任一Cache,因此对于相同的数据文件,Cache集群仅缓存一份即可,能够节约Cache的存储资源。同时能够解决多个客户端访问同一数据的一致性问题,使用相同的资源做Cache,整体的Cache缓存数据的命中率相比于单节点会更高。Cache采用集群的方式部署,可以按照需求调整Cache集群的规模,具有较好的容错性和可扩展性。

技术领域

本申请涉及数据存储技术领域,特别是涉及分布式对象存储系统及数据读写方法。

背景技术

分布式对象存储系统可以在一个持久稳固且高度可用的系统中存储任意的对象,用户和应用可以在对象存储中使用API(Application Programming Interface,应用程序编程接口)访问数据。分布式对象存储系统大多是通过在多个磁盘上存储多个副本来保证数据的安全性,多个副本之间数据保持一致。对于强一致性的分布式对象系统,读取任意的副本是等价的,因此当热点访问时客户端会随机访问多个副本来均衡不同副本的压力,为了提高吞吐和性能客户端通常采用Cache(高速缓存存储器)来缓存读取到的数据。

相关技术中的分布式对象存储系统如图1所示,包括API客户端、元数据服务器集群及数据服务器集群,其中,各API客户端分别内置有Cache。其数据读写过程如图2所示,在API客户端获取到针对待读取数据的读取请求时,该API客户端首先检查自身的Cache中是否缓存有该待读取数据。若该API客户端自身的Cache中不包含该待读取数据,则该API客户端通过元数据服务器集群及数据服务器集群获取该待读取数据,并将该待读取数据存储在该API客户端自身的Cache中;若该API客户端自身的Cache中包含该待读取数据,则该API客户端直接从自身的Cache中读取该待读取数据。

但是采用上述方法,在当多个不同的API客户端分别访问同一数据文件时,各API客户端均需要在自身的Cache中缓存该数据文件,造成了Cache存储资源的浪费。

发明内容

本申请实施例的目的在于提供一种分布式对象存储系统及数据读写方法,以实现减少Cache存储资源的浪费。具体技术方案如下:

第一方面,本申请实施例提供了一种分布式对象存储系统,所述系统包括:

存储服务器集群、多个高速缓冲存储器Cache组成的Cache集群及多个应用程序编程接口API客户端;其中,各所述API客户端均能够访问所述Cache集群中任一所述Cache;

所述Cache,用于缓存数据;

所述存储服务器集群,用于存储数据;

所述API客户端,用于在获取到针对目标数据的访问请求时,查询所述Cache集群的各所述Cache中是否存在所述目标数据;在所述Cache集群的各所述Cache中均不包含所述目标数据时,从所述存储服务器集群中获取所述目标数据以响应所述访问请求,并将所述目标数据缓存到所述Cache集群中的一所述Cache中。

可选的,所述API客户端,还用于:在所述Cache集群中缓存有所述目标数据时,从所述Cache集群中获取所述目标数据以响应所述访问请求。

可选的,所述存储服务集群包括元数据服务器集群及数据服务器集群;

所述数据服务器集群,用于存储数据;

所述元数据服务器集群,用于管理所述数据服务器集群中的数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司;北京金山云科技有限公司,未经北京金山云网络技术有限公司;北京金山云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910548604.2/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top