[发明专利]基于Infobright的数据仓库和系统及其构建方法

权利要求书

1.一种基于Infobright的数据仓库的构建方法，其特征在于，包括：

构建源数据仓，所述源数据仓存放从关系型数据库中抽取过来的原始数据，源数据仓具有Infobright的brighthouse引擎，将所述原始数据从关系型数据库抽取到云存储，从云存储中下载所述原始数据到数据仓库中，原始数据均以增量的方式被加载到源数据仓中；

构建加工仓，所述加工仓具有brighthouse引擎，所述加工仓为一主多从的集群架构，包括一个加工仓主库和多个加工仓从库，所述加工仓提取源数据仓中的原始数据，并对所述原始数据进行加工处理和存储，数据加工过程均在加工仓主库中完成，加工仓主库对所述原始数据的加工处理包括排重、合并、拆分，加工仓从库为读库；

构建结果仓，所述结果仓具有MyISAM引擎，采用一主多从的集群架构，包括一个结果仓主库和多个结果仓从库，所述结果仓对加工仓加工完的数据进行汇总，作为汇总类报表的数据源；

所述源数据仓被构建为，针对所述原始数据中的表，根据表中的主键字段和更新时间字段，从表中过滤出主键重复的记录中更新时间最新的一条记录，查询出所有主键不重复的记录集合，并通过load dataoutfile方式导出到文本文件中，该文本文件保存在源数据仓中。

2.根据权利要求1所述的基于Infobright的数据仓库的构建方法，其特征在于，将结果仓主库构建为采用binlog复制模式将数据从结果仓主库复制到各个结果仓从库中。

3.根据权利要求1所述的基于Infobright的数据仓库的构建方法，其特征在于，将加工仓主库构建为采用binlog复制模式将数据从加工仓主库复制到各个加工仓从库中。

4.根据权利要求1所述的基于Infobright的数据仓库的构建方法，其特征在于，在所述加工仓主库中构建任务调度平台，所述加工仓被构建为：

执行文件传输任务将所述文本文件从源数据仓传输到加工仓；

删除加工仓中的表中所有表结构，并重新创建新表；

执行load任务将所述文本文件通过load data infile方式导入到创建的所述新表中。

5.一种基于Infobright的数据仓库系统的构建方法，其特征在于，包括：

按照权利要求1-4任意一项所述的方法构建基于Infobright的数据仓库；

构建一关系型数据库，所述关系型数据库用于产生与业务有关的原始数据；

构建一数据导入单元，所述数据导入单元将所述原始数据导入到所述数据仓库中。

6.根据权利要求5所述的基于Infobright的数据仓库系统的构建方法，其特征在于，还包括：

构建一报表展示单元，所述报表展示单元包括报表服务端和报表客户端，报表展示单元将数据仓库中加工完的数据以报表的方式展现。

7.根据权利要求5所述的基于Infobright的数据仓库系统的构建方法，其特征在于，所述原始数据以增量的方式从关系型数据库，经由所述数据导入单元，加载到所述数据仓库。

8.根据权利要求7所述的基于Infobright的数据仓库系统的构建方法，其特征在于，所述数据导入单元被构建为包括ETL工具，所述数据导入单元被构建为执行下述步骤来完成所述加载：

步骤1)：数据导入单元配置关系型数据库的连接参数，通过所述连接参数连接到关系型数据库；

步骤2)：数据导入单元配置数据传输参数；

步骤3)：数据导入单元根据所述步骤1)和步骤2)中的连接参数和数据传输参数将数据从关系型数据库的数据以文本文件方式抽取到云存储中；

步骤4)：数据导入单元的任务调度平台调用API将文本文件从云存储中下载到数据仓库；

步骤5)：数据导入单元的任务调度平台将所述文本文件通过load data infile方式下载到数据仓库中。

9.根据权利要求8所述的基于Infobright的数据仓库系统的构建方法，其特征在于，所述连接参数包括：关系数据库的IP地址、用户名、密码、数据库名；所述数据传输参数包括：数据源、数据表、主键、增量判断字段；所述文本文件为csv或txt类型的文本文件。