[发明专利]一种OLAP多维分析和数据挖掘系统

说明书

技术领域

本发明涉及一种数据分析和挖掘系统，尤其涉及一种OLAP多维分析和数据挖掘系统。

背景技术

现有技术中的数据分析系统，例如OLAP，其全称为在线联机分析处理，是一种针对多维数据分析查询的解决方案，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。然而，如图1所示，现有的OLAP多维分析系统主要由：数据层、应用层和表现层三层结构组成。由于缺乏接口层，系统是封闭的，不能对外提供API接口，导致第三方系统无法与之对接分享数据。

数据层：从常用的关系型数据库，如MySQL，Oracle、SQL Server等数据库中提取数据，但是对于超大规模数据集和Hadoop平台的支持有限。

应用层：通过数据建模，提取数据层的数据，并为OLAP查询引擎提供服务。在数据建模时，一般使用开源建模工具Workbench，但是过于复杂的操作流程影响了用户的体验，降低了使用效率。由于数据层的限制，应用层在实现数据的查询功能时，对中小规模的数据能够做到即时的响应，但是对数据库中存储的海量数据和大数据平台中存储的数据，难以保证查询的实时性。其次，OLAP查询引擎一般使用Mondrian，它用MDX语言实现查询，只支持从关系型数据库中读取数据，但是对大数据平台缺少对接接口而且支持的聚合函数有限。此外，OLAP查询引擎不具有对数据的深度分析和数据挖掘能力。

表现层：以图表的形式对数据进行呈现，仅支持直方图、折线图、散点图和饼图等，面对数据的多样性，不能对数据进行更加直观的展示，如：地理位置信息等需要地图类型图表的支持。

发明内容

本发明提供一种OLAP多维分析和数据挖掘系统。该系统支持PB级别数据量的应用场景，能即时响应用户请求，提供多数据源的对接、类型丰富的图表展示、深度的数据分析和数据挖掘等功能；且具有可拖拽的交互式报表与查询分析能力，还提供标准的SQL接口供第三方系统使用。

本发明提供的一种OLAP多维分析和数据挖掘系统，具有数据模型、分布式OLAP引擎、OLAP解析引擎、多维分析报表接口、数据挖掘接口和数据可视化工具，所述数据模型由可视化界面供用户通过拖拽完成数据建模，具有统一的模型配置，系统自动进行模型适配，使数据模型配合内部其他引擎或工具调用；所述分布式OLAP引擎为OLAP系统提供多维数据模型预处理能力；所述OLAP解析引擎支持大数据平台和关系型数据库的多维度查询解析引擎，将MDX语句解析为标准的SQL语言；所述多维分析报表接口和数据挖掘接口具有多维度的数据分析和数据挖掘功能，提供报表分析方法和数据挖掘算法模型；所述数据可视化工具为多维分析报表接口和数据挖掘接口中的报表分析和数据挖掘提供可视化服务,并提供可视化结果社交分享和图表管理功能

附图说明

图1为本发明的OLAP多维分析系统的系统架构图；

图2为本发明的数据模型构建流程图；

图2-1为可视化拖拽的步骤；

图2-2为数据源配置文件的格式抽取步骤；

图3为本发明的OLAP解析引擎的工作流程图；

图4为本发明的多维分别报表接口的工作流程图；

图5为本发明的数据挖掘可支持的模型；

图6为本发明的可视化工具可支持的图表选择类型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示为本发明提出的OLAP多维分析系统的系统架构图，包括数据模型构建，分布式OLAP引擎，OLAP解析引擎，多维分析报表接口和数据挖掘接口，多维分析报表接口和数据挖掘接口，数据可视化工具。

分布式OLAP引擎包括元数据引擎、任务模块、存储模块以及应用服务模块等。

所述元数据管理工具是对保存在OLAP引擎当中的所有元数据进行管理，其中包括重要的cube元数据。其它全部组件的正常运作都需以元数据管理工具为基础，包括cube的定义，星状模型的定义、job的信息、job的输出信息、维度的directory信息等等，元数据和cube都存储在hbase中，存储的格式是json字符串，除此之外，还可以选择将元数据存储在本地文件系统。