[发明专利]一种预写式日志的处理方法、存储介质与设备

说明书

本发明涉及数据库技术，特别是涉及一种预写式日志的处理方法、存储介质与设备。该处理方法包括：将数据库运行中产生的多条WAL记录复制到WAL缓存中；利用预先构建的哈希表记录多条WAL的复制状态，其中，哈希表的每一个哈希桶内记录有和其对应的WAL记录的识别号以及标示着是否完成复制的标记；在将WAL缓存刷写到磁盘文件中之前，根据待提交事务的每一条WAL记录的识别号查找和其对应的哈希桶，根据查找到的哈希桶中的标记顺序查看待提交事务的每一条WAL记录的复制状态。本发明采用哈希表记录WAL记录复制到WAL缓存的状态，实现了在刷写WAL缓存之前，无需遍历，仅仅通过哈希索引即可有序、快速地查看待提交事务的每一条WAL记录的复制状态，提高了数据库的性能。

技术领域

本发明涉及数据库技术，特别是涉及一种预写式日志的处理方法、存储介质与设备。

背景技术

在数据库系统中，预写式日志(Write-Ahead Logging，WAL)技术是保证事务具有原子性和持久性的关键技术。数据库系统会将所有事务对数据库的所有更新操作均记录并在其被应用前写入日志文件。正由于WAL技术的作用，数据库需要在事务提交前将相关的WAL统一刷写到磁盘中，确保数据库崩溃时，数据库系统可以重做或撤销。现在数据库系统的WAL已经成为数据库系统的一大瓶颈。

现有的WAL技术通常采用数组结构的方法，来记录WAL复制到缓存的状态。这种方法允许一定的并发复制，在复制的同时利用数组记录WAL复制到缓存的状态。在事务提交时，阻塞复制进程，遍历数组，查看物理位置在当前提交事务之前，当前提交事务的WAL是否都已经完成复制。如果均完成复制，则顺序的将它们刷写到磁盘。如果存在一条未拷贝的WAL记录，则需要停止阻塞复制进程，保持事务未提交状态不变，直至等到当前提交事务的WAL的记录均完成复制后，才能继续刷写。

然而，在现有的采用数组结构记录WAL复制到缓存的状态的WAL技术中，由于数组结构对WAL复制和遍历刷写过程存在制约关系，会出现复制过程无法采用高并发的问题。另外，由于数组结构在刷写WAL时会采用无顺序的方式，因此需要遍历全部数组，导致遍历刷写过程代价大。以上可见，传统方法对WAl的处理存在弊端。

发明内容

鉴于上述问题，本发明提供一种预写式日志的处理方法、存储介质与设备。

本发明的一个目的是要提供一种可以无需遍历、快速地查看WAL复制情况的预写式日志的处理方法。

本发明一个进一步的目的是提高查看待提交事务的每一条WAL记录的复制状态的准确性，从而提高数据库管理系统的整体性能。

本发明的另一个进一步的目的是要一次性将尽可能多的WAL缓存刷写到磁盘文件中，提升WAL刷写效率。

特别地，本发明提供了一种预写式日志的处理方法，其包括：

将数据库运行中产生的多条预写式日志记录复制到预写式日志缓存中；

利用数据库管理系统中预先构建的哈希表记录多条预写式日志的复制状态，其中，哈希表的每一个哈希桶与一条预写式日志记录对应设置，并且每一个哈希桶内记录有和其对应的预写式日志记录的识别号以及标示着该条预写式日志记录是否完成复制的标记；

在将预写式日志缓存刷写到磁盘文件中之前，根据待提交事务的每一条预写式日志记录的识别号在哈希表中查找和其对应的哈希桶，并根据查找到的哈希桶中的标记顺序查看待提交事务的每一条预写式日志记录的复制状态。

可选地，每一条预写式日志记录的识别号包括该条预写式日志记录的写入磁盘文件的起始地址和结束地址，其中，每个待提交事务的非首条预写式日志记录的起始地址为同一待提交事务的上一条预写式日志记录的结束地址与预设长度之和；并且

根据待提交事务的每一条预写式日志记录的识别号在哈希表中查找和其对应的哈希桶，并根据查找到的哈希桶中的标记顺序查看待提交事务的每一条预写式日志记录的复制状态的步骤包括：