[发明专利]分布式对象存储系统及数据读写方法在审
申请号: | 201910548604.2 | 申请日: | 2019-06-24 |
公开(公告)号: | CN112130747A | 公开(公告)日: | 2020-12-25 |
发明(设计)人: | 甘红星 | 申请(专利权)人: | 北京金山云网络技术有限公司;北京金山云科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 丁芸;马敬 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 对象 存储系统 数据 读写 方法 | ||
本申请实施例提供了分布式对象存储系统及数据读写方法,该分布式对象存储系统,包括:存储服务器集群,多个Cache组成的Cache集群及多个API客户端;其中,各API客户端均能够访问Cache集群中任一Cache。每个API客户端均能够访问Cache集群中的任一Cache,因此对于相同的数据文件,Cache集群仅缓存一份即可,能够节约Cache的存储资源。同时能够解决多个客户端访问同一数据的一致性问题,使用相同的资源做Cache,整体的Cache缓存数据的命中率相比于单节点会更高。Cache采用集群的方式部署,可以按照需求调整Cache集群的规模,具有较好的容错性和可扩展性。
技术领域
本申请涉及数据存储技术领域,特别是涉及分布式对象存储系统及数据读写方法。
背景技术
分布式对象存储系统可以在一个持久稳固且高度可用的系统中存储任意的对象,用户和应用可以在对象存储中使用API(Application Programming Interface,应用程序编程接口)访问数据。分布式对象存储系统大多是通过在多个磁盘上存储多个副本来保证数据的安全性,多个副本之间数据保持一致。对于强一致性的分布式对象系统,读取任意的副本是等价的,因此当热点访问时客户端会随机访问多个副本来均衡不同副本的压力,为了提高吞吐和性能客户端通常采用Cache(高速缓存存储器)来缓存读取到的数据。
相关技术中的分布式对象存储系统如图1所示,包括API客户端、元数据服务器集群及数据服务器集群,其中,各API客户端分别内置有Cache。其数据读写过程如图2所示,在API客户端获取到针对待读取数据的读取请求时,该API客户端首先检查自身的Cache中是否缓存有该待读取数据。若该API客户端自身的Cache中不包含该待读取数据,则该API客户端通过元数据服务器集群及数据服务器集群获取该待读取数据,并将该待读取数据存储在该API客户端自身的Cache中;若该API客户端自身的Cache中包含该待读取数据,则该API客户端直接从自身的Cache中读取该待读取数据。
但是采用上述方法,在当多个不同的API客户端分别访问同一数据文件时,各API客户端均需要在自身的Cache中缓存该数据文件,造成了Cache存储资源的浪费。
发明内容
本申请实施例的目的在于提供一种分布式对象存储系统及数据读写方法,以实现减少Cache存储资源的浪费。具体技术方案如下:
第一方面,本申请实施例提供了一种分布式对象存储系统,所述系统包括:
存储服务器集群、多个高速缓冲存储器Cache组成的Cache集群及多个应用程序编程接口API客户端;其中,各所述API客户端均能够访问所述Cache集群中任一所述Cache;
所述Cache,用于缓存数据;
所述存储服务器集群,用于存储数据;
所述API客户端,用于在获取到针对目标数据的访问请求时,查询所述Cache集群的各所述Cache中是否存在所述目标数据;在所述Cache集群的各所述Cache中均不包含所述目标数据时,从所述存储服务器集群中获取所述目标数据以响应所述访问请求,并将所述目标数据缓存到所述Cache集群中的一所述Cache中。
可选的,所述API客户端,还用于:在所述Cache集群中缓存有所述目标数据时,从所述Cache集群中获取所述目标数据以响应所述访问请求。
可选的,所述存储服务集群包括元数据服务器集群及数据服务器集群;
所述数据服务器集群,用于存储数据;
所述元数据服务器集群,用于管理所述数据服务器集群中的数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司;北京金山云科技有限公司,未经北京金山云网络技术有限公司;北京金山云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910548604.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:环己烷氧化制己二酸的方法
- 下一篇:储液器、压缩机和换热系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置