[发明专利]一种HBase二级索引的实现方法

权利要求书

1.一种HBase二级索引的实现方法，其特征在于：将Elasticsearch搜索引擎、NiFi数据流平台和HBase分布式列存储数据库进行整合；

NiFi数据流平台负责抽取源数据写入Elasticsearch搜索引擎和HBase分布式列存储数据库，Elasticsearch搜索引擎负责存储被索引的数据及HBase分布式列存储数据库的rowkey主键，HBase分布式列存储数据库负责存储全量的详细数据；

根据查询条件搜索Elasticsearch搜索引擎获取HBase分布式列存储数据库的rowkey主键，利用rowkey主键作为查询条件查询存储在HBase分布式列存储数据库中的详细数据，从而为HBase提供高效的查询检索功能。

2.根据权利要求1所述的HBase二级索引的实现方法，其特征在于包括以下步骤：：

S1.NiFi数据流平台配置数据源的地址，所述数据源地址是关系数据库url地址、远程目录或者数据流工具；

S2.NiFi数据流平台配置数据源的字段与HBase分布式列存储数据库的字段对应关系，如果HBase分布式列存储数据库中对应的存储表不存在，NiFi数据流平台根据配置信息自动创建HBase表；

S3.NiFi数据流平台配置需要写入Elasticsearch搜索引擎的字段，如果Elasticsearch搜索引擎中对应的存储数据的索引不存在，NiFi数据流平台根据配置信息自动创建索引；

S4.启动NiFi数据流平台抽取源数据写入Elasticsearch搜索引擎的索引；

S5.启动NiFi数据流平台抽取源数据写入HBase分布式列存储数据库的表；

S6.用户输入明细查询sql，点击查询按钮，Elasticsearch搜索引擎根据用户输入的sql查询对应的索引，返回存储在索引中的HBase分布式列存储数据库的主键，根据返回的HBase分布式列存储数据库的主键查询HBase分布式列存储数据库对应的表，返回详细数据，并在页面展示；

S7.用户输入统计分析sql，点击查询按钮，Elasticsearch搜索引擎的统计接口接收统计分析sql并进行统计分析，以json形式返回统计分析结果。

3.根据权利要求2所述的HBase二级索引的实现方法，其特征在于：所述步骤S1中，NiFi数据流平台抽取其他数据源的数据或者读取远程共享目录中文件内容，并对内容进行清洗、转换和分割，再写入其他的数据存储组件；

所述数据流工具为kafka流处理平台。

4.根据权利要求2所述的HBase二级索引的实现方法，其特征在于：所述步骤S2中，NiFi数据流平台中配置HBase分布式列存储数据库的连接信息，包括HBase分布式列存储数据库的票据、zookeeper的IP地址和HBase分布式列存储数据库的端口号，确保NiFi数据流平台能够连通HBase分布式列存储数据库。

5.根据权利要求2所述的HBase二级索引的实现方法，其特征在于：所述步骤S3中，NiFi数据流平台配置Elasticsearch搜索引擎的连接信息，包括Elasticsearch搜索引擎的端口号和IP地址，确保NiFi数据流平台能够与Elasticsearch搜素引擎连通；

NiFi数据流平台还要配置源数据字段名称与Elasticsearch搜索引擎中对应的索引的字段的对应关系；而且NiFi数据流平台只需要配置业务需要的查询统计字段和写入Elasticsearch搜索引擎的HBase分布式列存储数据库的rowkey主键字段即可；所述步骤S4中，不作为查询条件的字段和不用来统计数据的字段不写入Elasticsearch搜索引擎，从而节省服务器的内存缓存空间和磁盘存储空间，提高查询和检索效率。

6.根据权利要求2所述的HBase二级索引的实现方法，其特征在于：所述步骤S5中，NiFi数据流平台写入HBase分布式列存储数据库的数据为全量数据，包含所有的源数据字段信息。