[发明专利]基于列存储的智能双引擎分析系统及方法

摘要

本发明公开了一种基于列存储的智能双引擎分析系统及方法，涉及智慧城市和大数据处理领域，该系统包括HBase存储单元、客户端和智能SQL路由单元，该系统在用户侧实现智能SQL路由单元；该系统采用HBase存储单元作为底层数据的存储单元，并在HBase存储单元上建立实时查询引擎和批量分析引擎，该系统针对的数据是结构化的关系型数据。本发明既能满足实时性的简单查询，又能有效提高分析大规模数据的性能，满足用户对大规模数据的统计分析要求。

主权项

一种基于列存储的智能双引擎分析系统，包括HBase存储单元、客户端、智能结构化查询语言SQL路由单元，该系统在用户侧实现智能SQL路由单元；其特征在于：该系统采用HBase存储单元作为底层数据的存储单元，并在HBase存储单元上建立实时查询引擎和批量分析引擎，该系统针对的数据是结构化的关系型数据；所述HBase存储单元用于：实现对数据的底层存储，在存储数据时，将数据的主键自动映射到HBase的主键上，如果用户的数据还有其他列带有索引，那么通过单独的HBase表来生成二级索引表，二级索引表的主键对应用户表的索引列；所述客户端用于：接收用户输入的SQL语句，然后将用户输入的SQL语句发送给智能SQL路由单元；所述智能SQL路由单元用于：对用户输入的SQL语句进行解析，并进行分析和判断，根据分析的结果将SQL路由到实时查询引擎或者批量分析引擎，进行分析和查询；所述实时查询引擎用于：将使用索引的简单查询转化为HBase的主键查询操作或范围查询操作，通过HBase的主键和索引对数据进行检索、查询和分析；所述批量分析引擎是Hive在HBase存储单元上的实现，对于复杂的统计和分析，实时查询引擎无法完成，批量分析引擎将复杂的统计和分析转化为映射化简MapReduce的并行任务，然后由MapReduce任务在HBase存储单元的底层存储文件HFile上直接进行并行分析和处理。