[发明专利]一种追加写场景下顺序存储磁盘管理的方法及系统有效
申请号: | 201911278697.8 | 申请日: | 2019-12-10 |
公开(公告)号: | CN111190537B | 公开(公告)日: | 2023-08-25 |
发明(设计)人: | 蔡军;方然 | 申请(专利权)人: | 优刻得科技股份有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 古利兰 |
地址: | 200093 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 追加 场景 顺序 存储 磁盘 管理 方法 系统 | ||
1.一种追加写场景下顺序存储磁盘管理的方法,其特征在于,包括:
将磁盘划分为层磁盘元数据段DiskMeta、chunk原数据段ChunkMeta和BlockData;其中,所述BlockData由固定大小磁盘块组成,通过磁盘物理偏移进行区分;所述BlockData为自定义名称,表示Block的数据块叫做BlockData;所述DiskMeta为存放磁盘的元数据信息,至少包括磁盘的大小、磁盘中的block个数;所述ChunkMeta为存储chunk的元信息,包括chunk的index,chunk已经使用的长度、可使用的长度,已经分配的磁盘的block的id;所述chunk为自定义名称,表示分布式存储系统对外开放提供的最小存储单位;所述block为自定义名称,表示分布式存储系统的单机上会将磁盘均匀划分成N个块,每一个块称之为一个block;
从磁盘加载DiskMeta和ChunkMeta数据信息;
基于所述ChunkMeta中起始block_id,按照块加载该chunk所有的block_id到所述ChunkMeta的有序列表block_list中;其中,所述block_id表示已经分配的磁盘的block的id;
扫描所述ChunkMeta的有序列表block_list,得到空闲的block的队列和block的分配位图block_bit_map;
在首次写入数据时,ChunkServer申请chunk,初始化chunk的ChunkMeta信息;其中,所述ChunkServer为自定义名称,是一种服务,管理chunk、ChunkMeta、Block的服务,负责接收和处理Client的文件存储请求;
在申请chunk的同时,为该chunk申请一个block,作为chunk的起始block;
将chunk的数据偏移和大小转成block的内的写入偏移和大小;
当写入数据大小超过一个block的大小,分配一个新的block给ChunkServer;
当分配block成功,将block的id写入到所述ChunkMeta的有序列表block_list中,同时,将下一个block的id写入前一个block的末尾数据段,完成落盘操作。
2.根据权利要求1所述的方法,其特征在于,所述当写入数据大小超过一个block的大小,分配一个新的block给ChunkServer,包括:
判断空闲block队列free_block_list是否为空,若是,则返回磁盘满的状态码,若否,则:
从所述空闲block队列free_block_list中获取第一个block;
通过所述block的分配位图block_bit_map判断该block是否被使用,若否,则:
该block分配成功,将所述block的分配位图block_bit_map的分配的位置置1。
3.根据权利要求2所述的方法,其特征在于,还包括:
按照chunk上的偏移计算读取数据在chunk的第几个block上;
基于计算结果,在所述ChunkMeta中的有序列表block_list中,获取block的id;
按照block的id计算磁盘上的偏移地址,按照偏移读取数据;
判断读取数据大小是否超过当前的block,若否,则读取结束返回数据,若是,则从所述ChunkMeta中的有序列表block_list中获取下一个block。
4.根据权利要求3所述的方法,其特征在于,还包括:
删除ChunkMeta元数据;
当删除所述ChunkMeta元数据成功时,释放block块。
5.根据权利要求4所述的方法,其特征在于,当删除所述ChunkMeta元数据成功时,释放block块,包括:
将block的id加入空闲block队列free_block_list末尾;
将所述block的分配位图block_bit_map的分配位置置0。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于优刻得科技股份有限公司,未经优刻得科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911278697.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种晶圆加热器表面温度分布检测装置
- 下一篇:一种损失函数动态加权的方法