[发明专利]一种内存索引结构处理方法

说明书

本发明公开了一种内存索引结构处理方法。在跳表处理前，通过统计信息计算查询分布以及数据分布情况；选择插入跳表结构的哨兵节点；通过求解跳表在插入节点后的最小平均操作代价，得到最优的哨兵节点的配置结果；在底层跳表结构中插入这些哨兵节点，接着在底层跳表结构中的哨兵节点插入完毕后，通过Bulkload方法自底向上建立上层CSB+树结构，对哨兵节点的快速定位；对于每一条需要查询或者插入的数据，通过上层CSB+树结构，找到最近哨兵节点，从此开始对跳表进行操作。本发明方法在保留传统跳表结构实现简单、并发性好、适合范围查询等优势的基础上，提升了整个操作过程对缓存的利用率，从而明显提升了内存索引的性能。

技术领域

本发明涉及内存数据库，存储策略，跳表结构，缓存利用率等方法。尤其涉及一种内存索引结构处理方法。

背景技术

内存数据库(MMDB)是近年来发展较为迅速的一种数据技术。由于目前互联网技术以及大数据的发展,对于数据的响应速率提出了越来越高的要求,传统的磁盘数据库已经无法满足一些新型业务的要求,同时硬件技术的发展降低了内存的制造成本,为内存数据库提供了可行性。

索引机制是数据库管理机制的重要组成部分。当前内存索引结构主要有B+树、哈希表和跳表等。其中在哈希表上只能做单个key的查询，不适宜做范围查询。跳表结构实现简单、并发性好、适合范围查询，但对缓存利用率较差。而平衡树尽管插入和删除操作都有可能引发子树的调整，操作复杂，实现难度较高。

CSB+-Tree(CacheSensitive B+-Trees)是B+树的变体，连续存储给定节点的子节点，并且只存储节点的第一个子节点的地址，其他子节点的地址可以通过相对这个子节点的偏移量计算获得。同时，对于静态数据，CSB+-Tree可自底向上快速建立索引。但是其实现难度，操作复杂，范围查询需要进行遍历的问题明显存在。

发明内容

本发明的目的在于针对现有技术的不足，提供一种内存索引结构处理方法，结合了现有跳表灵活度高和CSB+-Tree结构缓存利用率高的优势。

本发明解决其技术问题采用的技术方案的方法步骤如下：

(1)在跳表处理前，通过统计信息计算查询分布以及数据分布情况；

(2)选择插入跳表结构的用于快速定位的哨兵节点；在确定哨兵节点数量的前提下，通过求解跳表在插入节点后的最小平均操作代价，得到最优的哨兵节点的配置结果；当数据分布和查询分布一致时，保持相邻哨兵节点之间的两两查询分布和数据分布概率相同时候，跳表每次操作的平均代价达到最小值即形成最小平均操作代价；通过数学模型可在确定哨兵节点数量的前提下，选择能够使得内存索引结构性能最优的哨兵节点。

(3)根据哨兵节点的选择，在底层跳表结构中插入这些哨兵节点，接着在底层跳表结构中的哨兵节点插入完毕后，通过Bulkload方法自底向上在跳表结构之上建立上层的CSB+树(CSB+-Tree)结构，对哨兵节点的快速定位。鉴于CSB+树结构只用于哨兵节点定位，在底层跳表查询过程中保持不变，因此无需考虑复杂的子树调整过程，既能保证高并发性，也保证了较高的缓存利用率。

(4)对于每一条需要查询或者插入的数据，通过上层的CSB+树结构，找到最近的哨兵节点，从该哨兵节点开始对跳表进行操作。

由此，本发明只是改变了底层跳表结构的查询入口，而哨兵节点和跟现有跳表结构查询入口一样，在跳表中处于最高的高度，具体插入、删除和查询功能依旧可以保持现有跳表结构的灵活性，从而使得整个操作过程依然具有高度的并发性和灵活性。

所述步骤(1)具体是将内存内的数据划分为若干个分段，统计记录每个分段内的查询分布以及数据分布概率。

所述的哨兵节点在跳表中均具有最高的高度。

所述的哨兵节点插入位置为数据分段之间的分界位置。