[发明专利]数据持久化处理方法、装置及数据库系统

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据持久化处理方法、装置及数据库系统。

背景技术

内存相对于磁盘能够提供较高的吞吐量和快速响应，数据库系统通常将某些数据如读写较为繁琐的数据优先存放到内存中，以提高数据读写速度，实现高速缓存。数据库系统通常是以页作为高速缓存的单位，当进程修改了高速缓存里的数据时，该页就被内核标记为脏页（Dirty Page），数据库系统将会在合适的时间把脏页的数据写到磁盘中去，以保持高速缓存中的数据和磁盘中的数据是一致的。

检查点（Checkpoint）机制是使数据库能够在发生故障之后进行恢复的机制。传统的检查点机制也称为全量检查点机制，是一次性将检查点队列中的所有脏页转存到磁盘中。在使用该检查点机制进行数据持久化处理时，为保证内存与磁盘数据的一致性，需要在整个数据持久化处理期间锁定整个检查点队列，也就是说，用户的正常事务操作将被阻止比较长的一段时间。

为了克服传统的全量检查点机制影响正常事务执行的弊端，名为“模糊检查点”的机制被提了出来。模糊检查点机制旨在将产生的脏页逐步刷到磁盘中，以此减少了因数据持久化处理对用户正常事务操作造成的影响，但是具体如何实现，现有技术尚缺少存少有效的解决方案。

发明内容

本发明实施例提供一种数据持久化处理方法、装置及数据库系统，用以在一定程度上提高脏页转存的效率。

一方面，本发明实施例提供了一种数据持久化处理方法，包括：

在数据库系统内存每次产生脏页时，将产生的各脏页分别对应的页标识加入检查点队列；

在所述检查点队列中确定活动组和当前组；所述检查点队列中与当前准备转存到磁盘的多个脏页分别对应的页标识，组成所述活动组；所述检查点队列中新加入的脏页所插入的组为所述当前组；

在预设的检查点发生时机，将所述活动组包括的各页标识对应的脏页依次转存到磁盘的数据文件；

如果完成所述活动组相关的脏页转存，则在所述检查点队列中确定下一所述活动组，并在所述检查点发生时机，将下一所述活动组包括的各页标识对应的脏页依次转存到所述磁盘的数据文件。

另一方面，本发明实施例还提供了一种数据持久化处理装置，包括：

检查点队列维护单元，用于在数据库系统内存每次产生脏页时，将产生的各脏页分别对应的页标识加入检查点队列；

分组处理单元，用于在所述检查点队列中确定活动组和当前组；所述检查点队列中与当前准备转存到磁盘的多个脏页分别对应的页标识，组成所述活动组；所述检查点队列中新加入的脏页所插入的组为所述当前组；

脏页批量转存单元，用于在预设的检查点发生时机，将所述活动组包括的各页标识对应的脏页依次转存到所述磁盘的数据文件；

所述分组处理单元，还用于如果完成所述活动组相关的脏页转存，则在所述检查点队列中确定下一所述活动组；

所述脏页批量转存单元，还用于在所述检查点发生时机，将下一所述活动组包括的各页标识对应的脏页依次转存到所述磁盘的数据文件。

再一方面，本发明实施例还提供了一种数据库系统，包括：磁盘文件、内存数据库以及数据库管理系统，所述数据库管理系统用于管理所述内存数据库中存储的数据，所述数据库管理系统包括上述的数据持久化处理装置，所述数据持久化处理装置用于将内存数据库中存储的数据转存到所述磁盘文件中。

本发明实施例提供的数据持久化处理方法和装置及数据库系统，动态维护一检查点队列，将检查点队列中与当前准备转存到磁盘的多个脏页对应的页标识作为活动组，检查点队列新加入的脏页所插入的组为当前组，每一检查点发生时机，将一活动组包括的各页标识对应的脏页依次转存到磁盘的数据库中，完成一活动组包括的各页标识对应的脏页的转存之后，在检查点队列中确定下一活动组，以在下一检查点发生时机，将该下一活动组包括的各页标识对应的脏页依次转存到磁盘的数据文件。如此循环处理，实现了按检查点发生时机分组批量向磁盘转存脏页，由此在脏页转存对正常事务操作产生较小影响的基础上，提高了脏页转存的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据持久化处理方法流程图；