[发明专利]基于GPU分组LSM树索引的方法

说明书

本发明提供一种基于GPU分组LSM树索引的方法，涉及GPU数据库技术领域。本发明首先将数据进行预处理，当value为变长时，在GPU上进行查询时不能很好的利用缓存而且数据传输代价也会增大。本发明针对以上情况，将数据中的Key和Value进行分离，GPU中仅仅存放Value的地址，真正的Value存放在内存中。针对LSM插入速度慢的问题，本发明将原来的LSM树每一层分为多个组，每个组都是一个有序数组，合并到下一层的时候通过GPU上大量的线程并行的归并。由于将LSM树进行分组，意味着查询需要花费更高的代价。为了提高查询速度，本发明在GPU上设计了一种适应于GPU结构的布隆过滤器，通过布隆过滤器减少了大量不必要的查询开销。

技术领域

本发明涉及GPU数据库技术领域，尤其涉及一种基于GPU分组LSM树索引的方法。

背景技术

随着大数据时代的到来，数据总量和数据访问量都在爆炸式的增长。传统的关系型数据库已经不能够满足这种高并发的访问场景。而Nosql数据库不依赖于关系数据库的传统结构且更加灵活和方便，因此非常适用于云存储,电子商务和web访问等。键值(Key-Value,KV)是Nosql数据库的基本类型,通过GET,PUT,DELETE等简单的接口就能对大量非结构化的数据进行读写。

目前主流的Nosql数据库的索引结构都是日志结构合并树(log-sturctre mergetree,LSM Tree)。LSM树是重要的数据结构之一。它被广泛用于levelDB，rocksDB，Cassandra等NoSql数据库中。LSM树是一种多层的结构，它的基本思想是先将数据的修改或者插入保存在内存中，当内存达到容量限制再将这些操作顺序写入磁盘，磁盘中的树在后台会进行定期的合并操作，最后以归并的方式合并成一棵大树。相比于其它索引结构例如B树，它在数据的插入，删除修改方面有极高的速度。由于LSM树的这种分层结构，查询也会在内存和磁盘上进行多次二分查找，这样就明显的降低了它的查询速度。因此LSM树适用于写入远大于读取的场景。相比于内存上的数据结构，LSM树这种磁盘上的数据结构性能的瓶颈在于磁盘IO上。

先前的工作都是针对磁盘IO问题也就是LSM树的读写放大问题进行优化的，例如WiscKey进行KV分离，降低写Value的代价。PebblesDB通过弱化全局有序来降低写放大。

相比于磁盘上的数据结构，内存中的数据结构性能在于算法的时间复杂度和并发线程的数量。而GPU的大量线程和高速的带宽就非常适合于处理LSM这种数据结构。由于GPU的多核处理器使用SIMD执行方法大大提高了数据处理速度并减少数据响应时间，许多索引结构已经在GPU上实现了高性能，例如Harmonia，SlabHash等。目前在GPU上实现的索引结构主要分为两大类，基于hash的索引和基于树的索引。基于hash索引的结构能够进行快速的插入删除更新和点查找，但不能像基于树的索引结构支持范围查找。而且对于更新操作许多GPU索引结构不是动态的更新，而是在GPU上重新构建索引结构。GPULSM树是首个在GPU上实现的LSM树索引结构但是它的插入查询等操作也没有很好的和GPU硬件结构匹配。

发明内容

针对现有技术的不足，本发明提供一种基于GPU分组LSM树索引的方法，将LSM树每一层分为多个组，数据在组内有序，在组间无序。当某一层数据满了的时候通过GPU上的大量线程并行的归并到下一层中。而针对LSM树查询速度慢的问题，本发明通过布隆过滤器排除掉了大量不必要的查询，提高了查询效率。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于GPU分组LSM树索引的方法，包括以下步骤：

步骤1：对Key-Value数据进行预处理，将数据在内存中进行键值Key和数据Value的分离；

将Value存放在内存中，同时在内存中用哈希表存储Value和对应的地址，查询时以O(1)的时间复杂度定位Value；分离之后将Key和Value的地址拷贝到GPU的全局内存中；