[发明专利]一种多版本数据库存储引擎系统及其相关处理的实现方法

说明书

技术领域

本发明涉及一种多版本数据库的存储引擎系统，特别是涉及一种海量存储查询专用数据库系统的多版本存储引擎的设计及其实现方法。

背景技术

并发控制是数据库系统的关键技术，它保证了在多用户并发操作情况下的数据一致性，同时也是衡量数据库系统性能的重要指标之一。大多数传统数据库的并发控制采用的是两阶段锁协议，这个协议保证了并发事务执行时数据库系统中数据的一致性，但是在对任何数据进行读、写操作之前，需要对该数据加锁，从而造成了读事务和写事务之间需要相互等待，给数据库系统带来较大的并发开销，对性能产生一定的影响。多版本并发控制较好地解决了这一问题，在多版本的系统中，每一次写数据均产生一个新的版本，读操作可以根据需要读取合适的版本，因此读写操作互不阻塞。多版本并发控制技术极大地提高了数据库系统的并发度，从而促进了数据库系统性能的提升，目前，多版本并发控制技术被很多主流数据库系统采用，如Oracle，SqlServer，PostgreSQL等等。新推出的数据库系统，也几乎都使用多版本技术来实现并发控制，可以说多版本技术已经成为数据库系统并发控制技术未来的发展趋势。

虽然目前主流数据库都支持多版本并发控制技术，但是他们实现多版本的方式却不尽相同。由于大部分主流数据库都是商业数据库，并没有详细公布它们的内部实现细节，所以根据少量的公开文档，我们只能推断出他们实现多版本控制技术的大致方式。Oracle数据库实现的是页面级的多版本，在数据库中同时存在多个版本的页面数据，事务根据需要取得或者构造自己需要的页面版本；而SqlServer，PostgreSQL等数据库实现的是行级多版本，每个数据行数都记录着版本信息，事务根据可见性判断来取得自己能够读取到的数据行。相同的是，他们都用系统更改号来表示数据的版本信息，系统更改号是一个严格递增的序列，每个更新事务都会取得一个唯一的系统更改号，事务就是通过记录在数据上的系统更改号来判别自己是否可以访问这个数据，通过系统更改号数据库实现了并发事务的访问控制。通过多版本并发控制技术，这些数据库都能够支持高并发的访问，极大地提供了数据库系统的性能。

鉴于多版本并发控制技术的诸多优点，本发明考虑为本公司的神通kstore数据库设计和实现一个多版本存储引擎，来提高该数据库系统的性能。神通kstore数据库是本公司自主研发的面向海量数据存储和查询的专用数据库系统，该数据库系统通过行列混合存储技术和多种数据压缩技术实现了海量数据的高效存储，同时通过知识网格索引技术实现了对压缩存储数据的高效查询。由于该数据库系统的数据存储方式和索引方式与传统的数据库存在较大的差别，所以一般的多版本并发控制的实现方式并不适用于该数据库系统，因此需要另外设计一种多版本并发控制技术的实现方式。本发明通过综合考虑现有多版本技术的特点和神通kstore数据库自身的特性，设计并实现了一个多版本存储引擎，在神通kstore数据库中很好地引入了多版本并发控制技术，极大提升了数据库系统的性能。

发明内容

本发明目的在于设计和实现一个支持多版本并发控制技术的数据库存储引擎，这个存储引擎服务于本公司自主研发的针对海量数据存储查询的专用数据库--神通kstore数据库。通过充分考虑该数据库的底层存储结构和所面向的查询类型的特点，本发明设计了一个特别的多版本并发控制协议，并通过多个关键算法实现了这个多版本协议，进而实现了一个高效的多版本存储引擎，最终提高了神通kstore数据库系统的并发度，实现了该数据库系统性能的极大提升。

为达到上述目标，本发明采用的具体技术方案如下：

一、一种多版本数据库存储引擎的整体系统架构。