[发明专利]一种基于Apache Kylin的数据查询系统及其方法

摘要

本发明涉及一种基于Apache Kylin的数据查询系统及其方法，该系统包括：数据源模块、复合离线引擎模块、在线查询模块依次连接；在线查询模块包括：SQL解析引擎模块、元数据模块、存储索引模块；还包括一种方法：S1，先从数据源中读取多张关系表，构成一个数据模型；S2，多张关系表经过连接，为一张数据表，再排序；S3，排序后的数据表保存为分片存储结构数据，以及为排序后的数据表计算多路复合索引；S4，SQL查询解析，判断该查询属于明细查询，获得结果。通过本发明构建的索引能够被用于表格拼接查询，包含多张数据表格时，索引起作用，加速查询对任意复杂的查询条件都可以做索引,精确定位索引，查询时间大大减少。

主权项

一种基于Apache Kylin的数据查询系统，其特征在于,该系统包括：数据源模块、复合离线引擎模块、在线查询模块；数据源模块、复合离线引擎模块、在线查询模块依次连接；数据源模块的数据导入复合离线引擎模块，经过复合离线引擎模块处理后进入在线查询模块进行查询；在线查询模块包括：SQL解析引擎模块、元数据模块、存储索引模块；SQL解析引擎模块与元数据模块连接；SQL解析引擎模块与存储索引模块连接，读取存储索引模块中的数据；元数据模块分别与数据源模块、SQL解析引擎模块、存储索引模块连接；复合离线引擎模块与存储索引模块连接，将在复合离线引擎模块先后计算或并行计算的数据输入到存储索引模块。