[发明专利]一种基于可复用构件的数据仓库构建方法

说明书

技术领域

本发明涉及一种数据仓库的构建方法，特别是指一种基于可复用构件的数据仓库构建方法。 

背景技术

数据仓库是计算机和数据库应用发展到一定阶段的必然产物，是支持企业决策分析的核心技术。数据仓库的目的是建立一种体系结构化的数据存储环境，将分析决策所需的大量数据从传统的操作环境中分离出来，使分散、不一致的操作数据转换为集成、统一的信息。然而，这个过程并非易事，这里所谓的传统的操作环境，是指企业在不同时期、不同背景下开发出来的事务处理系统，这些系统的建立也往往是面向不同的应用、由不同的开发商来完成，其数据的存储结构、存储平台和系统平台具有很大的异构性。如何将这些异构的数据有效地集成到数据仓库中，是企业所面临的一个难题。企业需要一个全面的解决方案来解决数据的一致性和集成化问题，使人们能够从所有的传统平台和环境中采集数据，并利用一个单一的解决方案对其进行高效的转换，这个解决方案就是数据抽取、转换和加载过程 ETL (Extract Transform Load)。

ETL 是从各种异构操作型数据源中抽取数据，并对抽取到的数据进行转换处理，最后加载到数据仓库中的过程。它是建立数据仓库的基石和灵魂，也是建立数据仓库的必要步骤，在数据仓库的建设过程中占有及其重要的地位。从整体角度来看，ETL 的主要作用在于其屏蔽了复杂的业务逻辑，从而为各种基于数据仓库的分析和应用提供了统一的数据接口。可以说，ETL在传统的业务系统和数据仓库之间架立起了一座桥梁，确保新的数据能够源源不断地进入数据仓库。

目前，国内外对于如何在类相似或相近的数据仓库项目中共享ETL过程的研究较少，很大程度上阻碍了数据仓库项目建设效率的进一步提高。 

发明内容

为缩短系统开发周期，提高系统质量，本发明开发了一种基于可复用构件的数据仓库构建方法。

根据本发明，本系统包括：基础服务层、抽取层、集成转换层、特殊处理层四个层次；

所述基础服务层包含元数据管理构件、层间接口构件、关键绩效指标自动测试构件三类；

所述元数据管理构件主要完成ETL子系统中元数据管理模块的功能；

所述层间接口构件从抽象层面上为各数据仓库项目提供一个相同的ETL处理框架，为ETL处理过程各层次的各种功能构件提供接口，实现构件具体处理过程对架构的透明化；

所述关键绩效指标自动测试构件为每类关键绩效指标提供一个自动测试构件；

所述抽取层构件位于ETL架构的最底层，直接面对数据源，完成数据抽取阶段的工作，该层的ETL构件在不同数据仓库间差异很大，可重用程度总体上比较低；

所述集成转换层构件主要将抽取层抽取的数据转换成格式规范、含义统一、质量良好的数据，并集成到数据仓库中；所述集成转换层为每类数据对象提供一类ETL处理构件，同层构件之间相对独立，通过抽象各个相似数据仓库项目业务规则，将其封装在构件内，保证ETL架构在相似数据仓库之间移植时，只要通过配置业务规则，ETL构件即可投入使用；

所述特殊处理层在集成转换层构件处理的基础上，负责将数据仓库中按流水交易形式组织的数据换算成按关键绩效指标组织的形式。

 

附图说明

图1为本发明架构的示意图。

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

 

具体实施方式

实施例1。

下面参照附图1对本发明进行更全面的描述，其中说明本发明的示例性实施例。

本系统包括：基础服务层（a）、抽取层（b）、集成转换层（c）、特殊处理层（d）四个层次；

所述基础服务层（a）包含：

元数据管理构件（a1）

层间接口构件（a2）

关键绩效指标自动测试构件（a3）；

所述元数据管理构件（a1）主要完成ETL子系统中元数据管理模块的功能；

所述层间接口构件（a2）从抽象层面上为各数据仓库项目提供一个相同的ETL处理框架，为ETL处理过程各层次的各种功能构件提供接口，实现构件具体处理过程对架构的透明化；

所述关键绩效指标自动测试构件（a3）为每类关键绩效指标提供一个自动测试构件；