[发明专利]一种基于日志方式的存储空间管理方法和装置

说明书

技术领域

本发明涉及存储技术领域，尤其涉及一种基于日志方式的存储空间管理方法和装置。

背景技术

无论是基于文件系统还是基于其它块设备的应用，都有两个基本的要求：1、记录数据存储在块设备的哪些块上；2、块设备的哪些块是空闲状态。

从原则上来说，可以不用记录块设备的哪些块是空闲的，而只记录数据存储在哪些块上即可。因为块的状态只有两种：使用状态或者空闲状态。所以，可以通过已使用的块来推算出哪些块是空闲的。但是，这又意味着需要遍历所有已使用的块。为了使申请空闲块的效率更高，绝大多数块设备都会记录哪些块是空闲的。

目前记录块是空闲状态还是已使用状态主要有两种方法，一是bitmap的方式，一是b-tree的方式。当然，最常用的还是bitmap的方式。bitmap是用一段连续空间的第N个比特位来表述块设备的第N个块是空闲的还是被占用的。相对而言，bitmap的资源消耗比较小，对于4KB的块大小，其资源消耗仅为1/(4096*8)＝0.003％(其8代表一个字节8个比特位)。对于1GB大小的文件系统而言，bitmap所需要的空间大小为32KB；而对于1TB大小的文件系统而言，则需要的空间大小为2MB。这个大小对于系统的内存来说，还是可以接受的，但是从查找效率的角度来说，相对就比较低了。而如果对于1PB的文件系统而言，bitmap需要的大小则变为32GB，这个大小对于大多数设备的内存来说都是不可以接受的。这就意味着每次需要获取块状态时，都需要从磁盘读取，这将严重影响文件系统的性能。

针对上述问题，一个比较容易想到的方法是：将bitmap分为多个小的bitmap，再用bitmap来映射划分后的小的bitmap，请参图1所示。这样就可以通过最顶层的bitmap来找出哪些小的bitmap是有空闲块的；如果小的bitmap不在内存中，则将小的bitmap从磁盘中读取出来。

但是，这样仍会存在如下问题：不论是申请还是释放块资源，bitmap都需要更新。对于申请块资源的操作，可以对bitmap的更新进行控制，但是对于释放块资源的操作则很难进行控制，因为释放操作是上层应用触发的。频繁进行块资源的释放，就意味着频繁更新bitmap，就意味着有很多的读写IO。更甚，若bitmap的更新涉及到很多小的bitmap，即bitmap的更新具有很大的随机性时，系统将不堪重负。

B-tree则是采用extent(一段连续的存储空间)的方式来管理连续的块(block)。Extent的方式采用偏移加长度的方法来管理空闲的块空间。但是b-tree与bitmap存在上述同样的问题。

发明内容

有鉴于此，本发明提供一种基于日志方式的存储空间管理方法。

该方法应用于存储设备，包括：在申请存储空间或释放存储空间的时候，在预设大小的第二映射区域SMR中记录对应的申请或者释放日志，该申请或者释放日志记录申请或者释放存储空间的起始位置以及大小信息；按照一定的策略，顺序对所述申请或释放日志，以及上一次的合并日志执行存储空间合并的操作，并在所述SMR中记录本次产生的合并日志，所述合并日志记录了空闲的存储空间的起始位置以及大小。

优选地，日志在SMR中的记录采用循环覆盖的方式进行；所述按照一定的策略，顺序对所述申请或释放日志，以及上一次的合并日志执行存储空间合并的操作包括：当上一次合并产生的合并日志以及当前未被合并的申请或释放日志总数量占SMR内容区域日志总容纳量的比值达到预设阈值时，顺序对所述申请或释放日志，以及上一次的合并日志执行存储空间合并的操作；或者，在申请存储空间且没有满足该申请所需大小的存储空间时，顺序对所述申请或释放日志，以及上一次的合并日志执行存储空间合并的操作。

优选地，顺序对所述申请或释放日志，以及上一次的合并日志执行存储空间合并的操作包括：顺序针对当前每条未被合并的申请或释放日志，按照日志中记录的起始位置和大小，判断是否可以和红黑树中当前的节点进行合并，如果可以则进行合并；合并后将新生成的节点插入到红黑树中，并删除被合并的节点；该新生成的节点的内容为：本次合并后空闲存储空间的起始位置和大小。

优选地，所述SMR中记录的日志包括：表示是释放空间操作还是申请空间操作的信息；表示是真实申请释放操作的日志还是合并操作的日志的信息；日志的编号Cur_journal_id，该编号随着日志的增加依次增加；所述顺序对所述申请或释放日志，以及上一次的合并日志执行存储空间合并的操作为按照日志编号递增的顺序依次执行所述合并的操作。