[发明专利]一种追加写场景下顺序存储磁盘管理的方法及系统有效

专利信息
申请号: 201911278697.8 申请日: 2019-12-10
公开(公告)号: CN111190537B 公开(公告)日: 2023-08-25
发明(设计)人: 蔡军;方然 申请(专利权)人: 优刻得科技股份有限公司
主分类号: G06F3/06 分类号: G06F3/06
代理公司: 北京集佳知识产权代理有限公司 11227 代理人: 古利兰
地址: 200093 上海市*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 追加 场景 顺序 存储 磁盘 管理 方法 系统
【权利要求书】:

1.一种追加写场景下顺序存储磁盘管理的方法,其特征在于,包括:

将磁盘划分为层磁盘元数据段DiskMeta、chunk原数据段ChunkMeta和BlockData;其中,所述BlockData由固定大小磁盘块组成,通过磁盘物理偏移进行区分;所述BlockData为自定义名称,表示Block的数据块叫做BlockData;所述DiskMeta为存放磁盘的元数据信息,至少包括磁盘的大小、磁盘中的block个数;所述ChunkMeta为存储chunk的元信息,包括chunk的index,chunk已经使用的长度、可使用的长度,已经分配的磁盘的block的id;所述chunk为自定义名称,表示分布式存储系统对外开放提供的最小存储单位;所述block为自定义名称,表示分布式存储系统的单机上会将磁盘均匀划分成N个块,每一个块称之为一个block;

从磁盘加载DiskMeta和ChunkMeta数据信息;

基于所述ChunkMeta中起始block_id,按照块加载该chunk所有的block_id到所述ChunkMeta的有序列表block_list中;其中,所述block_id表示已经分配的磁盘的block的id;

扫描所述ChunkMeta的有序列表block_list,得到空闲的block的队列和block的分配位图block_bit_map;

在首次写入数据时,ChunkServer申请chunk,初始化chunk的ChunkMeta信息;其中,所述ChunkServer为自定义名称,是一种服务,管理chunk、ChunkMeta、Block的服务,负责接收和处理Client的文件存储请求;

在申请chunk的同时,为该chunk申请一个block,作为chunk的起始block;

将chunk的数据偏移和大小转成block的内的写入偏移和大小;

当写入数据大小超过一个block的大小,分配一个新的block给ChunkServer;

当分配block成功,将block的id写入到所述ChunkMeta的有序列表block_list中,同时,将下一个block的id写入前一个block的末尾数据段,完成落盘操作。

2.根据权利要求1所述的方法,其特征在于,所述当写入数据大小超过一个block的大小,分配一个新的block给ChunkServer,包括:

判断空闲block队列free_block_list是否为空,若是,则返回磁盘满的状态码,若否,则:

从所述空闲block队列free_block_list中获取第一个block;

通过所述block的分配位图block_bit_map判断该block是否被使用,若否,则:

该block分配成功,将所述block的分配位图block_bit_map的分配的位置置1。

3.根据权利要求2所述的方法,其特征在于,还包括:

按照chunk上的偏移计算读取数据在chunk的第几个block上;

基于计算结果,在所述ChunkMeta中的有序列表block_list中,获取block的id;

按照block的id计算磁盘上的偏移地址,按照偏移读取数据;

判断读取数据大小是否超过当前的block,若否,则读取结束返回数据,若是,则从所述ChunkMeta中的有序列表block_list中获取下一个block。

4.根据权利要求3所述的方法,其特征在于,还包括:

删除ChunkMeta元数据;

当删除所述ChunkMeta元数据成功时,释放block块。

5.根据权利要求4所述的方法,其特征在于,当删除所述ChunkMeta元数据成功时,释放block块,包括:

将block的id加入空闲block队列free_block_list末尾;

将所述block的分配位图block_bit_map的分配位置置0。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于优刻得科技股份有限公司,未经优刻得科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911278697.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top