[发明专利]本地存储引擎IO聚合方法、装置及存储介质

说明书

本发明提供一种本地存储引擎IO聚合方法、装置和存储介质，用于提高本地存储引擎的处理能力。本发明通过预分配空间，将离散的多个小IO聚合在一个聚合写事务当中，将多个小IO的写入内容聚合为1个连续的大IO，以执行事务的方式将预分配空间内多个聚合写请求的写入内容一次性写入磁盘。本发明提供的聚合写入方式能够降低IO在磁盘上的处理延迟，减少本地存储引擎的CPU消耗，减少空间的分配次数，从而有效提升了本地存储引擎的处理能力。

技术领域

本发明涉及通信技术领域，尤其涉及一种本地存储引擎IO聚合方法、装置和存储介质。

背景技术

随着云计算、大数据技术的迅速发展，分布式存储逐渐成为解决数据爆发增长的关键技术。随着海量的数据迅速增加，对分布式存储提出了更高的要求。如何提升分布式存储系统的性能，尤其是处理小输入输出(Input Output，IO)的能力逐渐成为各存储厂商竞争的焦点。无论分布式存储采用副本或者纠删冗余策略，由于机械磁盘的寻址能力受限，导致磁盘处理小IO的能力不如处理大IO的能力。将多个离散的小IO聚合为一次连续的大IO的IO聚合技术，可充分发挥机械磁盘处理大IO的能力，从而减少处理IO的整体时延，增加机械磁盘处理小IO的能力，提升分布式系统的性能。

分布式块存储系统IO聚合技术实现中，其中一种聚合方法为：在IO数据异步提交之前，将IO数据添加到队列中，由单独的线程采用滑动窗口的方式遍历队列中的IO数据，通过查询和对比IO数据写入磁盘的偏移量来判断IO数据是否可以合并，能够合并的IO数据进行合并，不能合并的不进行处理，最后将该滑动窗口中的IO数据进行异步提交。

上述IO聚合方法需要专有独立的线程资源消耗，且窗口不能太大也不能太小，因此合并的效率不高，合并效果不显著。

发明内容

有鉴于此，本发明提供一种本地存储引擎IO聚合方法、装置和存储介质，用于解决本地存储引擎处理能力不高的技术问题。

基于本发明实施例的一方面，本发明提供了一种本地存储引擎IO聚合方法，该方法包括：

在接收到聚合写请求时，判断当前预分配空间的剩余空间是否足够容纳所述聚合写请求的写入内容；

若判定为是，则将所述聚合写请求加入当前预分配空间对应的聚合写事务，将所述聚合写请求的写入内容缓存在当前预分配空间中；

若判定为否，则执行当前预分配空间对应的聚合写事务，将当前预分配空间内多个聚合写请求的写入内容一次性写入磁盘；在当前预分配空间对应的聚合写事务执行完毕后，申请一个新的预分配空间并对应开启一个新聚合写事务；将所述聚合写请求加入所述新的预分配空间对应的新聚合写事务，将所述聚合写请求的写入内容缓存在所述新的预分配空间中。

进一步地，该方法还包括：

在开启一个新聚合写事务的同时，创建一个定时事件，该定时事件用于在定时时间到时，执行所述新的预分配空间对应的新聚合写事务，将所述新的预分配空间内的多个聚合写请求写入的内容写入磁盘。

进一步地，当判定当前预分配空间的剩余空间等于所述聚合写请求的写入内容所需空间时，将所述聚合写请求加入当前预分配空间对应的聚合写事务，将所述聚合写请求的写入内容缓存在当前预分配空间中，然后执行当前预分配空间对应的聚合写事务，将当前预分配空间内多个聚合写请求的写入内容一次性写入磁盘，并删除为所述聚合写事务创建的定时事件。

进一步地，使用访问锁对所述预分配空间进行保护，在对预分配空间进行操作前，需要首先申请访问锁，申请成功后才能对预分配空间以及与预分配空间相关的信息进行处理。

进一步地，所述方法应用于采用追加写技术的分布式存储系统中；

在对接收到的写请求进行处理之前，通过聚合写开关配置来判断是否使能聚合写功能，在使能聚合写功能且写请求的写入内容尺寸满足预设的尺寸要求时，将所接收的写请求作为聚合写请求进行处理。