[发明专利]利用虚拟多维数据集建立数据仓库的方法和系统

说明书

技术领域

本发明关于数据仓库技术领域，特别是关于一种利用虚拟多维数据集建立数据仓库的方法和系统。

背景技术

目前，数据仓库的建设方法，主要通过以下两种现有技术来实现：

现有技术一：采用ETL(Extraction-Transformation-Loading，数据提取、转换和加载)技术，将外围系统的数据加载到数据仓库中，进而建立数据集市，从而实现对于数据的多维分析。但是这种技术具有很显著的缺陷，表现在：

1.实时性差，由于需要通过ETL等技术，将业务系统中数据加载到数据仓库中，数据的实时性差，不能将最近最新的数据在数据仓库中进行分析；

2.实施成本高，需要有专门的人员对于业务系统的数据进行分析，负责完成数据从数据源向目标数据仓库转移。

3.数据冗余存储，传统的数据仓库的构建方法，要在数据仓库中存储大量的业务系统数据，这样在存储上产生了大量的冗余数据，并且当业务系统的数据一旦加载到数据仓库中，对于先前数据的调整十分不便。

现有技术二：通过直接连接业务系统数据库定制开发数据查询引擎。这种技术的缺陷表现在：由于是定制开发，该方法不具备通用性。对每一个业务系统都要单独开发数据查询模块，开发工作量大，建设速度慢，无法复用。

发明内容

鉴于现有技术的缺陷，本发明提供一种利用虚拟多维数据集建立数据仓库的方法和系统，以减少搭建数据仓库的实施工作量，并大幅度减少了业务系统数据在数据仓库系统中的存储量。

该利用虚拟多维数据集建立数据仓库的系统包括：数据仓库建立平台和业务系统；

其中，所述数据仓库建立平台用于建立数据仓库系统，所述数据仓库系统包括：

包含元数据和映射数据的虚拟多维数据集；

映射模块，用于对业务实体数据的元数据进行映射而生成所述的映射数据；

所述业务系统包括：

所述业务实体数据；

虚拟多维数据集接口，所述虚拟多维数据集通过所述虚拟多维数据集接口与所述业务系统进行数据通信。

所述利用虚拟多维数据集建立数据仓库的系统还包括：

上层应用模块，用于向所述数据仓库系统发送多维数据查询消息，并接收所述数据仓库系统返回的多维数据查询结果。

所述数据仓库系统还包括：

多维数据查询消息接收模块，用于接收所述多维数据查询消息；

多维数据查询消息解析模块，用于分析所述多维数据查询消息，构建出面向所述业务系统的业务系统查询对象；

业务系统查询对象发送模块，用于向所述业务系统发送所述业务系统查询对象。

所述业务系统还包括：

业务系统查询对象解析模块，用于解析所述业务系统查询对象，生成查询对象解析结果信息；

数据查询模块，用于根据所述的查询对象解析结果信息进行数据查询，生成数据查询结果；

数据查询结果发送模块，用于通过所述虚拟多维数据集接口向所述数据仓库系统发送数据查询结果。

所述数据仓库系统还包括：

数据查询结果接收模块，用于接收所述数据查询结果；

数据查询结果合并计算模块，用于对所述数据查询结果进行合并计算，生成所述多维数据查询结果；

多维数据查询结果发送模块，用于将整合后的数据结果发送至所述上层应用模块。

所述业务实体数据包括：关系二维表、数据视图、文件等不同存储形式的数据。

所述的利用虚拟多维数据集建立数据仓库的方法包括：

建立数据仓库系统，包括：对业务实体数据进行映射而生成所述的映射数据；其中，所述数据仓库系统包含：由元数据和所述映射数据组成的虚拟多维数据集；

使用业务系统与所述虚拟多维数据集进行数据通信；其中，所述业务系统包括：所述业务实体数据。

所述方法还包括：

向所述数据仓库系统发送多维数据查询消息，并接收所述数据仓库系统返回的多维数据查询结果。

所述方法还包括：

接收所述多维数据查询消息；

分析所述多维数据查询消息，构建出面向所述业务系统的业务系统查询对象；

向所述业务系统发送所述业务系统查询对象。

所述方法还包括：

解析所述业务系统查询对象，生成查询对象解析结果信息；

根据所述的查询对象解析结果信息进行数据查询，生成数据查询结果；