[发明专利]基于Infobright的数据仓库和系统及其构建方法

说明书

技术领域

本发明涉及数字数据处理技术。

背景技术

数据仓库（Data Warehouse）是为企业进行分析性报告和决策支持的数据集合。构建数据仓库的意义在于：

1.有效集成企业内部和外部数据，为企业各层决策提供数据依据；

2.将分散的，异构数据库系统的数据统一集成起来；

3.可以进行企业的利润与成本分析；

4.规范管理，优化流程，决策支持。

常见的构建数据仓库的工具有IBM Cognos和SAP B0等。上述二者均采用集中式的单节点模式来构建数据仓库，这种类型的数据仓库的扩展性差。随着大数据时代的来临，数据的规模急剧扩大，有些已经达到TB级别，上述传统数据仓库已经越来越不能满足使用需要。

现有技术方案的缺陷表现在如下几个方面：

1.因为在架构上采用集中式的单节点模式，因此水平扩展能力差，在高并发应用场景下无法水平扩展；

2.数据量级支持有限，无法支持TB级以上的数据量，这样就满足不了电商、互联网等企业的海量数据分析；

3.因为基于传统关系型数据库，所以在查询性能上很难有突破，这样在报表展现时用户体验会很差；

4.费用昂贵，对企业来说是一笔不小的开销。

发明内容

基于现有技术的缺点，本发明提出一种基于Infobright的数据仓库的构建方法，包括：构建源数据仓，所述源数据仓存放从关系型数据库中抽取过来的原始数据；构建加工仓，所述加工仓具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储。

本发明还提出一种基于Infobright的数据仓库系统的构建方法，包括：按照如上所述的方法构建基于Infobright的数据仓库；构建一关系型数据库，所述关系型数据库用于产生与业务有关的原始数据；构建一数据导入单元，所述数据导入单元将所述原始数据导入到所述数据仓库中。

本发明还提出一种基于Infobright的数据仓库，包括：源数据仓，所述源数据仓存放从关系型数据库中抽取过来的原始数据；加工仓，所述加工仓具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储。

本发明还提出一种基于Infobright的数据仓库系统，包括：如前所述的数据仓库；关系型数据库，所述关系型数据库用于产生业务有关的原始数据；数据导入单元，所述数据导入单元将所述原始数据导入到所述数据仓库中。

本发明提出的数据仓库和数据仓库的构建方法基于Infobright，构建出高性能的且可扩展的数据仓库。

本发明的优点如下：

1.采用一主多从的分布式架构，可水平扩展，可以满足高并发需求；

2.单一节点的Infobright就能支持30TB的数据量，而且还可扩展，因而可以支持真正的海量数据分析；

3.Infobright采用的是基于列存储技术，有别于传统的行存储技术，在分析报表常用的聚合函数的查询性能上表现优异，在查询性能上大大优于现有技术方案；

4.本发明采用Infobright社区版，可以免费使用，大大降低了成本。

附图说明

图1为本发明的基于Infobright的数据仓库系统的示意图；

图2为本发明的基于Infobright的数据仓库系统的优选实施例的示意图；

图3为本发明的基于Infobright的数据仓库系统的另一优选实施例的示意图；

图4为本发明的基于Infobright的数据仓库的示意图；

图5为本发明的基于Infobright的数据仓库的构建方法的示意图；

图6为本发明的基于Infobright的数据仓库系统的构建方法的示意图。

具体实施方式

本发明的基于Infobright的数据仓库系统的结构如图1所示。所述系统包括关系型数据库1、数据导入单元2、数据仓库3。关系型数据库1是业务的生产数据库，其生成整个业务的数据。数据导入单元2负责将关系型数据库1生成的数据导入到数据仓库3中。数据仓库3对数据进行处理并存储。