[发明专利]一种Hadoop上面向范围查询的内存缓存方法

摘要

本发明公开了一种Hadoop上面向范围查询的内存缓存方法，包括如下步骤1)在Hadoop海量数据的查询属性上建立索引，将索引存放在HBase上；2)在HBase索引数据上建立内存分片缓存，选择频繁被访问的索引数据缓存在内存中，数据分片的划分在初始阶段采用固定长度等分方法，同时采用跳表（skiplist）组织众多的数据分片；3)根据数据查询记录命中数据，采用指数平滑方法衡量数据分片热度；4)更新内存缓存。本发明的优点是采用跳表和集合相结合的结构，在此结构上支持动态调整集合的分片边界，使数据分片自适应查询需求，提高热点数据分片的查询缓存命中率，降低查询访问磁盘的开销，从而大幅度提高范围查询的性能。

主权项

一种Hadoop上面向范围查询的内存缓存方法，其特征是，包括如下步骤：1）在Hadoop海量数据的查询属性上建立索引，将索引存放在HBase上；2）在HBase索引数据上建立内存分片缓存，选择频繁被访问的索引数据缓存在内存中，数据分片的划分在初始阶段采用固定长度等分方法，同时采用跳表组织众多的数据分片；3）根据数据查询记录命中数据，采用指数平滑方法衡量数据分片热度；4）更新内存缓存；所述的更新内存缓存包括热数据分片和冷数据分片、数据分片的分裂和数据分片的合并调整；所述的数据分片的分裂是数据分片热度高于内存淘汰门限但低于分片分裂门限，将分片分成相等的K份，数据分片被继续分裂，直到分片大小达到下限或者分片热度已经高于分片分裂门限，停止分裂，K是可配置参数。