[发明专利]一种追加写场景下顺序存储磁盘管理的方法及系统

说明书

本发明公开了一种追加写场景下顺序存储磁盘管理的方法及系统，方法包括：首先定义磁盘结构，对磁盘初始化，在首次写入数据时，ChunkServer申请chunk，初始化chunk的ChunkMeta信息；在申请chunk的同时，为该chunk申请一个block，作为chunk的起始block；将chunk的数据偏移和大小转成block的内的写入偏移和大小；当写入数据大小超过一个block的大小，分配一个新的block给ChunkServer；当分配block成功，将block的id写入到ChunkMeta的有序列表block_list中，同时，将下一个block的id写入前一个block的末尾数据段，完成落盘操作。本发明能够有效的对裸盘按照块的方式进行管理，灵活定义块的大小，利用追加写的办法提升存储速度。

技术领域

本发明涉及磁盘管理技术领域，尤其涉及一种追加写场景下顺序存储磁盘管理的方法及系统。

背景技术

随着SSD(Solid State Disk，固态硬盘)等存储介质的出现，磁盘IO效率得到巨大突破，存储方式已经成了云存储瓶颈优化的重点。顺序读写是提升存储速度的一种重要方式，追加写是实现顺序读写的一种方式。在现有技术中，对于单机磁盘数据管理通常由两种方式，一种是使用本地文件系统进行数据管理；另外一种是对数据块进行数据管理，在系统初始化时，将磁盘划分成固定的大小块(通常被称为chunk)，系统在存储文件数据时，通过算法分配磁盘上多个chunk(分布式存储系统对外开放提供的最小存储单位)来存储该文件，记录chunk与文件的对应关系，最后，将对应的关系持久化到数据盘或者数据库中。

现有分布式存储场景下的单机磁盘处理技术的主要缺陷有以下几点:

1、若chunk设置过大，系统事先会为每个chunk分配出固定大小，当存储小文件的时候，就会造成很大的浪费。例如，对于一个1G的chunk，实际未写满1GB，仍然会占用1GB的空间。

2、若chunk设置过小，系统为了快速索引chunk，会缓存chunk的上下文信息，导致chunk上下文信息占据较多的内存空间，而且每一次分配一个chunk需要持久化一次元数据，持久化操作的开销较大，不适合高性能的存储系统。

3、若使用本地文件系统存储，在IO路径上需要对文件元数据进行读写，导致写放大，耗费大量的CPU和磁盘IO资源，并且本地文件系统在某些场景下存在断电丢数据的风险。

4、数据文件存储的位置靠文件维持，元数据丢失的情况下，数据存储的位置无法恢复。

因此，如何有效的对追加写场景下顺序存储磁盘进行管理，是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种追加写场景下顺序存储磁盘管理的方法，能够有效的对裸盘按照块的方式进行管理，灵活定义块的大小，利用追加写的办法提升存储速度。

本发明提供了一种追加写场景下顺序存储磁盘管理的方法，包括：

将磁盘划分为DiskMeta、ChunkMeta和BlockData；其中，所述BlockData由固定大小磁盘块组成，通过磁盘物理偏移进行区分；

从磁盘加载DiskMeta和ChunkMeta数据信息；

基于所述ChunkMeta中起始block_id，按照块加载该chunk所有的block_id到所述ChunkMeta的有序列表block_list中；

扫描所述ChunkMeta的有序列表block_list，得到空闲的block的队列和block的分配位图block_bit_map；

在首次写入数据时，ChunkServer申请chunk，初始化chunk的ChunkMeta信息；