[发明专利]一种HBase二级索引的实现方法

说明书

本发明特别涉及一种HBase二级索引的实现方法。该HBase二级索引的实现方法，将Elasticsearch搜索引擎、NiFi数据流平台和HBase分布式列存储数据库进行整合；NiFi数据流平台负责抽取源数据写入Elasticsearch搜索引擎和HBase分布式列存储数据库，Elasticsearch搜索引擎负责存储被索引的数据及HBase分布式列存储数据库的rowkey主键，HBase分布式列存储数据库负责存储全量的详细数据；根据查询条件搜索Elasticsearch搜索引擎获取HBase分布式列存储数据库的rowkey主键，利用rowkey主键作为查询条件查询存储在HBase分布式列存储数据库中的详细数据，从而为HBase提供高效的查询检索功能。该HBase二级索引的实现方法，能够节省服务器的内存缓存空间和磁盘存储空间，为HBase提供高效的查询检索功能，极大的提高了查询和检索效率。

技术领域

本发明涉及数据检索技术领域，特别涉及一种HBase二级索引的实现方法。

背景技术

随着计算机技术和网络技术的迅速发展，海量的数据存储在HBase数据库中。HBase数据库里面只有Rowkey主键作为一级索引，如果要对HBase的非主键字段进行数据检索和查询，往往要通过MapReduce/Spark等分布式计算框架进行全表扫描，硬件资源消耗和时间延迟都会比较高。HBase不能满足数据的快速复杂的查询功能。HBase数据存储的优缺点如下：

Apache HBase是Hadoop数据库，是一个分布式的、可扩展的、大数据存储数据库。HBase分布式列存储数据库可在商品硬件集群上托管非常大的表，数据可达数十亿行数百万列。HBase是一个开源的、分布式的、基于版本的、非关系的数据库，它基于Google的Bigtable模型开发。HBase在Hadoop和HDFS之上提供了类似Bigtable的功能。HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储。HBase主要目标依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。HBase基于rowkey主键查询速度毫秒级，但是HBase不适于复杂逻辑查询，该复杂查询往往需全表扫描，非常消耗资源。

基于上述情况，本发明提出了一种HBase二级索引的实现方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的HBase二级索引的实现方法。

本发明是通过如下技术方案实现的：

一种HBase二级索引的实现方法，其特征在于：将Elasticsearch搜索引擎、NiFi数据流平台和HBase分布式列存储数据库进行整合；

NiFi数据流平台负责抽取源数据写入Elasticsearch搜索引擎和HBase分布式列存储数据库，Elasticsearch搜索引擎负责存储被索引的数据及HBase分布式列存储数据库的rowkey主键，HBase分布式列存储数据库负责存储全量的详细数据；

根据查询条件搜索Elasticsearch搜索引擎获取HBase分布式列存储数据库的rowkey主键，利用rowkey主键作为查询条件查询存储在HBase分布式列存储数据库中的详细数据，从而为HBase提供高效的查询检索功能。

包括以下步骤：

S1.NiFi数据流平台配置数据源的地址，所述数据源地址是关系数据库url地址、远程目录或者数据流工具；

S2.NiFi数据流平台配置数据源的字段与HBase分布式列存储数据库的字段对应关系，如果HBase分布式列存储数据库中对应的存储表不存在，NiFi数据流平台根据配置信息自动创建HBase表；